AI技術の発達には、機械学習やディープラーニング（深層学習）の存在が欠かせません。今回は、深層学習のフレームワークを利用し、揺れる服の動きも再現するリアル着せ替え技術について紹介します。
この深層学習フレームワークを利用することでどのようなことができるのか、その仕組みも簡単に紹介しますので見ていきましょう。
動きに合わせて服の動きやシワなども再現
今回紹介する深層学習フレームワークは、ドイツのブラウンシュヴァイク工科大学とMax Planck Institute for Informaticsによる研究チームによって開発されました。「High-Fidelity Neural Human Motion Transfer from Monocular Video」と呼ばれるフレームワークは、人物と服の細かな動きを別の人物に転写する深層学習フレームワークです。
このフレームワークを利用することで、動きに合わせて揺れる衣服のシワやひだなども忠実に再現して合成することができます。
深層学習フレームワークの仕組み
このフレームワークではソース映像の人物の動きだけをターゲット映像の人物に転送し、それにともなう衣服の副次的動作も含めた写実的なアニメーション合成を目指すものです。
ソース映像となるデータでは動画から人物の平面的な形状を推定するネットワーク、衣服の内部構造である服の皺やテクスチャパターンを推定するネットワークの2種類を実行し、人物の2Dスケルトンポーズや手や足、頭などのパーツごとの前景マスクを予測。
これらを使って最終的なターゲット映像と合成することで、短時間で高品質な合成映像を出力しています。
技術の進歩で広がる新たな購買体験
この技術がより実用的になれば、アパレルショップなどで試着をせずとも服を着たイメージをつかめるようになるかもしれません。技術が進歩することで新たな購買体験が生まれ、購買を促進することができるようになる可能性があります。
今回紹介したフレームワーク以外にも、「リアル着せ替え」を実現しようとするAI技術は多数存在します。AIなどの技術が発達することでさまざまな画面での活用が期待できるでしょう。今後も技術の発達は進むため、いまのうちから少しずつでも技術進歩の動向をチェックしておきましょう。
