論文の概要: DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars

• arxiv url: http://arxiv.org/abs/2311.18635v2
• Date: Tue, 16 Apr 2024 18:07:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 19:20:39.453006
• Title: DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars
• Title（参考訳）: 拡散アバター(Diffusion Avatars):高忠実度3次元頭部アバターの遠心拡散
• Authors: Tobias Kirschstein, Simon Giebenhain, Matthias Nießner,
• Abstract要約: DiffusionAvatarsは人の高忠実度3Dヘッドアバターを合成し、ポーズと表情の両方を直感的に制御する。 表現と頭部ポーズの粗い誘導のために、ターゲット視点からニューラルパラメトリックヘッドモデル(NPHM)を描画する。 我々は,NPHMから得られた表現コードに直接DiffusionAvatarsを挿入する。
• 参考スコア（独自算出の注目度）: 48.50728107738148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: DiffusionAvatars synthesizes a high-fidelity 3D head avatar of a person, offering intuitive control over both pose and expression. We propose a diffusion-based neural renderer that leverages generic 2D priors to produce compelling images of faces. For coarse guidance of the expression and head pose, we render a neural parametric head model (NPHM) from the target viewpoint, which acts as a proxy geometry of the person. Additionally, to enhance the modeling of intricate facial expressions, we condition DiffusionAvatars directly on the expression codes obtained from NPHM via cross-attention. Finally, to synthesize consistent surface details across different viewpoints and expressions, we rig learnable spatial features to the head's surface via TriPlane lookup in NPHM's canonical space. We train DiffusionAvatars on RGB videos and corresponding fitted NPHM meshes of a person and test the obtained avatars in both self-reenactment and animation scenarios. Our experiments demonstrate that DiffusionAvatars generates temporally consistent and visually appealing videos for novel poses and expressions of a person, outperforming existing approaches.
• Abstract（参考訳）: DiffusionAvatarsは人の高忠実度3Dヘッドアバターを合成し、ポーズと表情の両方を直感的に制御する。 汎用的な2Dプリエントを利用して、表情の魅力的な画像を生成する拡散型ニューラルレンダラーを提案する。 表現と頭部ポーズの粗い誘導のために,ターゲット視点からニューラルパラメトリックヘッドモデル(NPHM)を描画する。 さらに,複雑な表情のモデリングを強化するために,NPHMから得られた表現コードに直接ディフュージョンアバターを付加する。 最後に,NPHMの標準空間におけるTriPlaneルックアップを通じて,学習可能な空間的特徴を頭部に付与する。 我々は、RGBビデオとそれに対応するNPHMメッシュ上でDiffusionAvatarsをトレーニングし、自己再現とアニメーションの両方のシナリオで得られたアバターをテストする。 我々の実験は、DiffusionAvatarsが、人の新しいポーズや表現のために時間的に一貫した視覚的に魅力的なビデオを生成し、既存のアプローチよりも優れていることを示した。

関連論文リスト

• FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
  ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。 我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
  論文  参考訳（メタデータ） (2024-09-20T03:17:01Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。