論文の概要: Head2Head++: Deep Facial Attributes Re-Targeting
- arxiv url: http://arxiv.org/abs/2006.10199v2
- Date: Tue, 28 Sep 2021 15:01:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 20:47:17.634624
- Title: Head2Head++: Deep Facial Attributes Re-Targeting
- Title（参考訳）: head2head++: 深い顔属性の再ターゲティング
- Authors: Michail Christos Doukas, Mohammad Rami Koujan, Viktoriia Sharmanska,
Anastasios Roussos
- Abstract要約: 我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。
駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。
我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
- 参考スコア（独自算出の注目度）: 6.230979482947681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial video re-targeting is a challenging problem aiming to modify the
facial attributes of a target subject in a seamless manner by a driving
monocular sequence. We leverage the 3D geometry of faces and Generative
Adversarial Networks (GANs) to design a novel deep learning architecture for
the task of facial and head reenactment. Our method is different to purely 3D
model-based approaches, or recent image-based methods that use Deep
Convolutional Neural Networks (DCNNs) to generate individual frames. We manage
to capture the complex non-rigid facial motion from the driving monocular
performances and synthesise temporally consistent videos, with the aid of a
sequential Generator and an ad-hoc Dynamics Discriminator network. We conduct a
comprehensive set of quantitative and qualitative tests and demonstrate
experimentally that our proposed method can successfully transfer facial
expressions, head pose and eye gaze from a source video to a target subject, in
a photo-realistic and faithful fashion, better than other state-of-the-art
methods. Most importantly, our system performs end-to-end reenactment in nearly
real-time speed (18 fps).
- Abstract（参考訳）: 顔映像再ターゲティングは、被写体の顔属性を運転単眼列によりシームレスに修正することを目的とした課題である。
顔の3次元形状とgans(generative adversarial network)を利用して、顔と頭部の再現のための新しいディープラーニングアーキテクチャを設計した。
本手法は,深層畳み込みニューラルネットワーク(dcnn)を用いて個々のフレームを生成する,純粋に3次元モデルに基づくアプローチや,最近の画像ベース手法とは異なる。
運転単眼動作から複雑な非剛性顔の動きを捉え,シーケンシャル・ジェネレータとアドホック・ダイナミクス・判別ネットワークの助けを借りて,時間的一貫性のある映像を合成する。
定量的・質的実験を総合的に実施し,提案手法が表情,頭部ポーズ,視線を音源映像から対象者へ,他の最先端手法よりも忠実でフォトリアリスティックな方法で伝達できることを実験的に実証した。
また,本システムでは,ほぼリアルタイムで(18fps)のエンド・ツー・エンドの再現を行う。
関連論文リスト
- High-fidelity Facial Avatar Reconstruction from Monocular Video with
Generative Priors [29.293166730794606]
そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。
既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
論文 参考訳（メタデータ） (2022-11-28T04:49:46Z) - Dynamic Neural Portraits [58.480811535222834]
フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。
本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。
実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
論文 参考訳（メタデータ） (2022-11-25T10:06:14Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳（メタデータ） (2022-08-03T16:46:08Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2022-06-27T06:48:15Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳（メタデータ） (2021-05-31T02:30:11Z) - Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks [31.083072922977568]
本稿では,再構成した3Dメッシュを用いて顔合成に必要な光の流れを学習するワンショット顔再現法を提案する。
非対称なオートエンコーダである顔の動きを学習する動きネットを提案する。
提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
論文 参考訳（メタデータ） (2020-08-18T07:41:40Z) - Head2Head: Video-based Neural Head Synthesis [50.32988828989691]
顔再現のための新しい機械学習アーキテクチャを提案する。
提案手法は, 顔の表情, ポーズ, 視線を, 最先端の手法よりも正確に写実的な方法で対象映像に転送できることを示す。
論文 参考訳（メタデータ） (2020-05-22T00:44:43Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳（メタデータ） (2020-05-14T23:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。