論文の概要: DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars
- arxiv url: http://arxiv.org/abs/2311.18635v2
- Date: Tue, 16 Apr 2024 18:07:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 19:20:39.453006
- Title: DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars
- Title(参考訳): 拡散アバター(Diffusion Avatars):高忠実度3次元頭部アバターの遠心拡散
- Authors: Tobias Kirschstein, Simon Giebenhain, Matthias Nießner,
- Abstract要約: DiffusionAvatarsは人の高忠実度3Dヘッドアバターを合成し、ポーズと表情の両方を直感的に制御する。
表現と頭部ポーズの粗い誘導のために、ターゲット視点からニューラルパラメトリックヘッドモデル(NPHM)を描画する。
我々は,NPHMから得られた表現コードに直接DiffusionAvatarsを挿入する。
- 参考スコア(独自算出の注目度): 48.50728107738148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: DiffusionAvatars synthesizes a high-fidelity 3D head avatar of a person, offering intuitive control over both pose and expression. We propose a diffusion-based neural renderer that leverages generic 2D priors to produce compelling images of faces. For coarse guidance of the expression and head pose, we render a neural parametric head model (NPHM) from the target viewpoint, which acts as a proxy geometry of the person. Additionally, to enhance the modeling of intricate facial expressions, we condition DiffusionAvatars directly on the expression codes obtained from NPHM via cross-attention. Finally, to synthesize consistent surface details across different viewpoints and expressions, we rig learnable spatial features to the head's surface via TriPlane lookup in NPHM's canonical space. We train DiffusionAvatars on RGB videos and corresponding fitted NPHM meshes of a person and test the obtained avatars in both self-reenactment and animation scenarios. Our experiments demonstrate that DiffusionAvatars generates temporally consistent and visually appealing videos for novel poses and expressions of a person, outperforming existing approaches.
- Abstract(参考訳): DiffusionAvatarsは人の高忠実度3Dヘッドアバターを合成し、ポーズと表情の両方を直感的に制御する。
汎用的な2Dプリエントを利用して、表情の魅力的な画像を生成する拡散型ニューラルレンダラーを提案する。
表現と頭部ポーズの粗い誘導のために,ターゲット視点からニューラルパラメトリックヘッドモデル(NPHM)を描画する。
さらに,複雑な表情のモデリングを強化するために,NPHMから得られた表現コードに直接ディフュージョンアバターを付加する。
最後に,NPHMの標準空間におけるTriPlaneルックアップを通じて,学習可能な空間的特徴を頭部に付与する。
我々は、RGBビデオとそれに対応するNPHMメッシュ上でDiffusionAvatarsをトレーニングし、自己再現とアニメーションの両方のシナリオで得られたアバターをテストする。
我々の実験は、DiffusionAvatarsが、人の新しいポーズや表現のために時間的に一貫した視覚的に魅力的なビデオを生成し、既存のアプローチよりも優れていることを示した。
関連論文リスト
- FitDiff: Robust monocular 3D facial shape and reflectance estimation
using Diffusion Models [85.45528952520468]
拡散型3次元顔アバター生成モデルFitDiffを提案する。
この装置は、"in-the-the-wild" 2D顔画像から抽出されたアイデンティティ埋め込みを利用して、再生可能な顔アバターを生成する。
顔認識の埋め込みを前提とした最初のLCMであるFitDiffは、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
論文 参考訳(メタデータ) (2023-12-07T17:35:49Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳(メタデータ) (2023-11-22T19:13:00Z) - Learning Personalized High Quality Volumetric Head Avatars from
Monocular RGB Videos [47.94545609011594]
本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。
我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
論文 参考訳(メタデータ) (2023-04-04T01:10:04Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2022-08-03T16:46:08Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳(メタデータ) (2021-12-14T15:30:32Z) - Neural Head Avatars from Monocular RGB Videos [0.0]
アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。
我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
論文 参考訳(メタデータ) (2021-12-02T19:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。