論文の概要: DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars
- arxiv url: http://arxiv.org/abs/2311.18635v1
- Date: Thu, 30 Nov 2023 15:43:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 16:10:56.001826
- Title: DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars
- Title(参考訳): 拡散アバター(Diffusion Avatars):高忠実度3次元頭部アバターの遠心拡散
- Authors: Tobias Kirschstein, Simon Giebenhain, Matthias Nie{\ss}ner
- Abstract要約: DiffusionAvatarsは人の高忠実度3Dヘッドアバターを合成し、ポーズと表情の両方を直感的に制御する。
表現と頭部ポーズの粗い誘導のために、ターゲット視点からニューラルパラメトリックヘッドモデル(NPHM)を描画する。
我々は,NPHMから得られた表現コードに直接DiffusionAvatarsを挿入する。
- 参考スコア(独自算出の注目度): 1.7725414095035827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: DiffusionAvatars synthesizes a high-fidelity 3D head avatar of a person,
offering intuitive control over both pose and expression. We propose a
diffusion-based neural renderer that leverages generic 2D priors to produce
compelling images of faces. For coarse guidance of the expression and head
pose, we render a neural parametric head model (NPHM) from the target
viewpoint, which acts as a proxy geometry of the person. Additionally, to
enhance the modeling of intricate facial expressions, we condition
DiffusionAvatars directly on the expression codes obtained from NPHM via
cross-attention. Finally, to synthesize consistent surface details across
different viewpoints and expressions, we rig learnable spatial features to the
head's surface via TriPlane lookup in NPHM's canonical space. We train
DiffusionAvatars on RGB videos and corresponding tracked NPHM meshes of a
person and test the obtained avatars in both self-reenactment and animation
scenarios. Our experiments demonstrate that DiffusionAvatars generates
temporally consistent and visually appealing videos for novel poses and
expressions of a person, outperforming existing approaches.
- Abstract(参考訳): DiffusionAvatarsは人の高忠実度3Dヘッドアバターを合成し、ポーズと表情の両方を直感的に制御する。
本研究では,2dプリエントを利用して顔の説得力のある画像を生成する拡散型ニューラル・レンダラを提案する。
表情と頭部ポーズの粗い指導のために,対象の視点からニューラルパラメトリックヘッドモデル(nphm)を作成し,その人物の代理形状として機能する。
さらに,複雑な表情のモデリングを強化するために,NPHMから得られた表現コードに直接ディフュージョンアバターを付加する。
最後に、異なる視点と表現をまたいで一貫した表面詳細を合成するために、nphmの正準空間における三面体ルックアップを通して、学習可能な空間的特徴を頭の表面に配置する。
RGBビデオとそれに対応するNPHMメッシュ上でDiffusionAvatarをトレーニングし、自己再現とアニメーションの両方のシナリオで得られたアバターをテストする。
実験の結果,拡散ヴァタールは,新しいポーズや人の表情に対して,時間的一貫性と視覚的にアピールするビデオを生成し,既存のアプローチを上回っていることが示された。
関連論文リスト
- FitDiff: Robust monocular 3D facial shape and reflectance estimation
using Diffusion Models [85.45528952520468]
拡散型3次元顔アバター生成モデルFitDiffを提案する。
この装置は、"in-the-the-wild" 2D顔画像から抽出されたアイデンティティ埋め込みを利用して、再生可能な顔アバターを生成する。
顔認識の埋め込みを前提とした最初のLCMであるFitDiffは、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
論文 参考訳(メタデータ) (2023-12-07T17:35:49Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳(メタデータ) (2023-11-22T19:13:00Z) - Learning Personalized High Quality Volumetric Head Avatars from
Monocular RGB Videos [47.94545609011594]
本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。
我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
論文 参考訳(メタデータ) (2023-04-04T01:10:04Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2022-08-03T16:46:08Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳(メタデータ) (2021-12-14T15:30:32Z) - Neural Head Avatars from Monocular RGB Videos [0.0]
アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。
我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
論文 参考訳(メタデータ) (2021-12-02T19:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。