論文の概要: Head2HeadFS: Video-based Head Reenactment with Few-shot Learning
- arxiv url: http://arxiv.org/abs/2103.16229v1
- Date: Tue, 30 Mar 2021 10:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 14:55:47.601143
- Title: Head2HeadFS: Video-based Head Reenactment with Few-shot Learning
- Title（参考訳）: Head2HeadFS: ビデオによる頭部再現
- Authors: Michail Christos Doukas, Mohammad Rami Koujan, Viktoriia Sharmanska,
Stefanos Zafeiriou
- Abstract要約: ヘッド再アクティベーションは、ヘッドポーズ全体をソースの人からターゲットに転送することを目的とした挑戦的なタスクです。
頭部再生のための新しい適応性パイプラインであるhead2headfsを提案する。
当社のビデオベースのレンダリングネットワークは、ほんの数サンプルを使用して、数ショットの学習戦略の下で微調整されます。
- 参考スコア（独自算出の注目度）: 64.46913473391274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past years, a substantial amount of work has been done on the
problem of facial reenactment, with the solutions coming mainly from the
graphics community. Head reenactment is an even more challenging task, which
aims at transferring not only the facial expression, but also the entire head
pose from a source person to a target. Current approaches either train
person-specific systems, or use facial landmarks to model human heads, a
representation that might transfer unwanted identity attributes from the source
to the target. We propose head2headFS, a novel easily adaptable pipeline for
head reenactment. We condition synthesis of the target person on dense 3D face
shape information from the source, which enables high quality expression and
pose transfer. Our video-based rendering network is fine-tuned under a few-shot
learning strategy, using only a few samples. This allows for fast adaptation of
a generic generator trained on a multiple-person dataset, into a
person-specific one.
- Abstract（参考訳）: 過去数年間、顔の再現に関する問題に対してかなりの作業が行われてきたが、その解決策は主にグラフィックコミュニティから来ている。
頭部の再現はさらに困難な作業であり、顔の表情だけでなく、頭部全体のポーズをソースの人物からターゲットに移すことを目的としている。
現在のアプローチでは、個人固有のシステムを訓練するか、顔のランドマークを使って人間の頭部をモデル化するかのどちらかだ。
頭部再生のための新しい適応性パイプラインであるhead2headfsを提案する。
音源からの濃密な3次元顔形状情報に基づいて対象人物の条件合成を行い,高品質な表現とポーズ転送を実現する。
私たちのビデオベースのレンダリングネットワークは、少数のサンプルを使用して、数ショットの学習戦略の下で微調整されています。
これにより、複数の個人データセットでトレーニングされたジェネリックジェネレータを、個人固有のデータセットに迅速に適応することができる。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face
Reenactment [47.27033282706179]
本研究では,顔の特徴をそのポーズから切り離すフレームワークを提案する。
提案手法は, 極端なポーズ変動であっても, 高品質な結果が得られることを示す。
論文 参考訳（メタデータ） (2022-09-27T13:22:35Z) - Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。
現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。
本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。
本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
論文 参考訳（メタデータ） (2022-05-03T08:45:22Z) - HeadGAN: One-shot Neural Head Synthesis and Editing [70.30831163311296]
HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。
3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
論文 参考訳（メタデータ） (2020-12-15T12:51:32Z) - Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。
駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。
我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
論文 参考訳（メタデータ） (2020-06-17T23:38:37Z) - ReenactNet: Real-time Full Head Reenactment [50.32988828989691]
本稿では,人間の頭部3Dポーズ,表情,視線をソースからターゲットアクターに完全に転送できるヘッドツーヘッドシステムを提案する。
本システムでは,高忠実度,時間的スムース,写真リアルな合成ビデオが生成され,ヒトの頭部特性を音源からターゲット俳優に忠実に伝達する。
論文 参考訳（メタデータ） (2020-05-22T00:51:38Z) - FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。
提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
論文 参考訳（メタデータ） (2020-05-13T16:15:37Z) - Audio-driven Talking Face Video Generation with Learning-based
Personalized Head Pose [67.31838207805573]
本稿では、音源者の音声信号Aと対象者の短いビデオVを入力とするディープニューラルネットワークモデルを提案する。
我々は、パーソナライズされた頭部ポーズで合成された高品質な会話顔映像を出力する。
提案手法は,最先端の手法よりも,頭部運動効果を識別し,高品質な会話顔ビデオを生成する。
論文 参考訳（メタデータ） (2020-02-24T10:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。