論文の概要: MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance
- arxiv url: http://arxiv.org/abs/2504.21497v1
- Date: Wed, 30 Apr 2025 10:30:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 19:20:34.992443
- Title: MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance
- Title（参考訳）: MagicPortrait:3D幾何誘導による一時的な顔再現
- Authors: Mengting Wei, Yante Li, Tuomas Varanka, Yan Jiang, Licai Sun, Guoying Zhao,
- Abstract要約: 本稿では,3次元顔パラメトリックモデルを潜在拡散フレームワークに統合した映像顔再現法を提案する。
本手法は,3次元顔パラメトリックモデルを動作誘導として利用することにより,運転映像から捉えた動きと参照画像との顔の同一性のパラメトリックアライメントを可能にする。
- 参考スコア（独自算出の注目度）: 23.69067438843687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a method for video face reenactment that integrates a 3D face parametric model into a latent diffusion framework, aiming to improve shape consistency and motion control in existing video-based face generation approaches. Our approach employs the FLAME (Faces Learned with an Articulated Model and Expressions) model as the 3D face parametric representation, providing a unified framework for modeling face expressions and head pose. This enables precise extraction of detailed face geometry and motion features from driving videos. Specifically, we enhance the latent diffusion model with rich 3D expression and detailed pose information by incorporating depth maps, normal maps, and rendering maps derived from FLAME sequences. A multi-layer face movements fusion module with integrated self-attention mechanisms is used to combine identity and motion latent features within the spatial domain. By utilizing the 3D face parametric model as motion guidance, our method enables parametric alignment of face identity between the reference image and the motion captured from the driving video. Experimental results on benchmark datasets show that our method excels at generating high-quality face animations with precise expression and head pose variation modeling. In addition, it demonstrates strong generalization performance on out-of-domain images. Code is publicly available at https://github.com/weimengting/MagicPortrait.
- Abstract（参考訳）: 本稿では,既存の映像ベース顔生成手法における形状の整合性と動き制御の改善を目的とした,3次元顔パラメトリックモデルを潜在拡散フレームワークに統合した映像顔再現手法を提案する。
本手法では, 3次元顔パラメトリック表現としてFLAMEモデルを用い, 顔表現と頭部ポーズをモデル化するための統一的な枠組みを提供する。
これにより、運転ビデオから詳細な顔形状と動きの特徴を正確に抽出することができる。
具体的には、深度マップ、正規地図、FLAMEシーケンスから派生したレンダリングマップを組み込むことで、リッチな3次元表現と詳細なポーズ情報を用いて潜時拡散モデルを強化する。
自己アテンション機構を統合した多層顔移動融合モジュールを用いて、空間領域内のアイデンティティと動き遅延特徴を結合する。
本手法は,3次元顔パラメトリックモデルを動作誘導として利用することにより,運転映像から捉えた動きと参照画像との顔の同一性のパラメトリックアライメントを可能にする。
評価実験の結果,提案手法は高精度な表情表現と頭部ポーズ変動モデルを用いて,高品質な顔アニメーションを生成するのに優れていることがわかった。
さらに、ドメイン外の画像に対して強力な一般化性能を示す。
コードはhttps://github.com/weimengting/MagicPortrait.comで公開されている。
関連論文リスト
- DreamDance: Animating Human Images by Enriching 3D Geometry Cues from 2D Poses [57.17501809717155]
本研究では,骨格ポーズシーケンスのみを条件入力として,人間のイメージをアニメーションする新しい手法であるDreamDanceを提案する。
私たちの重要な洞察は、人間の画像は自然に複数のレベルの相関を示すということです。
我々は5Kの高品質なダンスビデオと詳細なフレームアノテーションを組み合わせたTikTok-Dance5Kデータセットを構築した。
論文 参考訳（メタデータ） (2024-11-30T08:42:13Z) - G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。
我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。
顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
論文 参考訳（メタデータ） (2024-08-23T13:13:24Z) - Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance [25.346255905155424]
本稿では,潜伏拡散フレームワーク内での3次元人間のパラメトリックモデルを活用することで,人間の画像アニメーションの方法論を提案する。
人間の3次元パラメトリックモデルを動作誘導として表現することにより、基準画像と音源映像の動きの間に人体のパラメトリック形状アライメントを行うことができる。
提案手法は,提案した組込みデータセットに対して,より優れた一般化能力を示す。
論文 参考訳（メタデータ） (2024-03-21T18:52:58Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳（メタデータ） (2023-09-28T17:59:51Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - Towards Realistic Generative 3D Face Models [41.574628821637944]
本稿では,高品質なアルベドと精密な3次元形状を生成するために,3次元制御可能な顔モデルを提案する。
2次元顔生成モデルとセマンティック顔操作を組み合わせることで、詳細な3次元顔の編集を可能にする。
論文 参考訳（メタデータ） (2023-04-24T22:47:52Z) - HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and
Dynamic Details [66.74088288846491]
HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。
我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
論文 参考訳（メタデータ） (2023-03-20T16:07:02Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-21T06:40:46Z) - Geometry Driven Progressive Warping for One-Shot Face Animation [5.349852254138086]
Face animationは、アニメーションのポーズと表情で写真リアルなポートレートビデオを作成することを目的としている。
幾何学駆動モデルを提案するとともに,3次元顔の変位マップとニューラルコードを用いた2つの幾何学的パターンをガイダンスとして提案する。
提案モデルでは,高忠実度で映像を合成し,VoxCeleb1データセットとVoxCeleb2データセットの新たな最先端結果が得られることを示す。
論文 参考訳（メタデータ） (2022-10-05T17:07:06Z) - FaceVerse: a Fine-grained and Detail-controllable 3D Face Morphable
Model from a Hybrid Dataset [36.688730105295015]
FaceVerseは60Kの融合RGB-D画像と2Kの高忠実度3Dヘッドスキャンモデルを含むハイブリッド東アジアの顔データセットから構築されている。
粗いモジュールでは、大規模なRGB-D画像からベースパラメトリックモデルを生成し、性別や年齢などによって正確な3D顔モデルを予測することができる。
高忠実度スキャンモデルで訓練された条件付きスタイルGANアーキテクチャを導入し、精巧な顔の幾何学的およびテクスチャ的詳細を表現した。
論文 参考訳（メタデータ） (2022-03-26T12:13:14Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳（メタデータ） (2021-05-31T02:30:11Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳（メタデータ） (2020-05-14T23:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。