人の顔を入れ替えた映画で使える高解像動画が作れるディスニー・リサーチのニューラルフェイススワッピング技術

download - 人の顔を入れ替えた映画で使える高解像動画が作れるディスニー・リサーチのニューラルフェイススワッピング技術 最新ニュース
ディズニー・リサーチがチューリッヒ工科大学(ETH Zurich)と共同で発表した新しい論文で、写真やビデオの顔を入れ替えるための完全に自動化されたニューラルネットワークベースの方法について述べられている。研究者たちによれば、それはメガピクセルレベルの高解像度で最終結果を生み出す初の手法だという。現実世界の出来事だと視聴者を納得させるのに高解像度であることが鍵となる映画やテレビでの使用に、最終結果は適している可能性がある。
研究者はこの技術を使って、既存の俳優が演技している顔を置き換えることを考えている。例えば若返らせたり老化させたり、あるいは亡くなった俳優を描写したりするといった用途だ。彼らはまた、シーンによってはスタントマンの顔を置き換えることにも利用できると示唆している。
この新しい方法は、様々な点で既存の手法とは異なっている。例えば記録されたパフォーマンス中の顔を自由に入れ替えることで、必要に応じて比較的簡単に俳優のイメージを入れ替えることができる。また、俳優が実際にシーンと同じ条件の場所にいたように、合成ステップでコントラストと光の条件を調整することができる。
以下のビデオで成果を確認することができる(研究者が指摘しているように、静止画よりも動画の中の方が、はるかに優れた結果を得られている)。まだ「不気味な谷」の雰囲気が残っているものの、研究者たちはそれを認めた上で、これを「不気味の谷にうまく橋をかけてくれるフォトリアルフェイススワッピングへの大きな1歩」だという。基本的に、これまでの手法よりも「悪夢度」ははるかに少ない。特に他の手法で生成された動画と並べて比較してみると、それははっきりする。最も注目すべき点は、それがはるかに高い解像度で動作するということだ。これは実際のエンターテインメント業界採用されるための鍵である。
提示されている例は非常に小さなサンプルに

リンク元

Comments

Copied title and URL