論文の概要: OmniAvatar: Geometry-Guided Controllable 3D Head Synthesis

• arxiv url: http://arxiv.org/abs/2303.15539v1
• Date: Mon, 27 Mar 2023 18:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 17:37:08.287529
• Title: OmniAvatar: Geometry-Guided Controllable 3D Head Synthesis
• Title（参考訳）: omniavatar:幾何誘導制御可能な3dヘッド合成
• Authors: Hongyi Xu, Guoxian Song, Zihang Jiang, Jianfeng Zhang, Yichun Shi, Jing Liu, Wanchun Ma, Jiashi Feng, Linjie Luo
• Abstract要約: 我々は,非構造画像から学習した新しい幾何学誘導型3次元頭部合成モデルであるOmniAvatarを提案する。 我々のモデルは、最先端の手法と比較して、魅力的なダイナミックディテールで、より好ましいID保存された3Dヘッドを合成することができる。
• 参考スコア（独自算出の注目度）: 81.70922087960271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present OmniAvatar, a novel geometry-guided 3D head synthesis model trained from in-the-wild unstructured images that is capable of synthesizing diverse identity-preserved 3D heads with compelling dynamic details under full disentangled control over camera poses, facial expressions, head shapes, articulated neck and jaw poses. To achieve such high level of disentangled control, we first explicitly define a novel semantic signed distance function (SDF) around a head geometry (FLAME) conditioned on the control parameters. This semantic SDF allows us to build a differentiable volumetric correspondence map from the observation space to a disentangled canonical space from all the control parameters. We then leverage the 3D-aware GAN framework (EG3D) to synthesize detailed shape and appearance of 3D full heads in the canonical space, followed by a volume rendering step guided by the volumetric correspondence map to output into the observation space. To ensure the control accuracy on the synthesized head shapes and expressions, we introduce a geometry prior loss to conform to head SDF and a control loss to conform to the expression code. Further, we enhance the temporal realism with dynamic details conditioned upon varying expressions and joint poses. Our model can synthesize more preferable identity-preserved 3D heads with compelling dynamic details compared to the state-of-the-art methods both qualitatively and quantitatively. We also provide an ablation study to justify many of our system design choices.
• Abstract（参考訳）: そこで本稿では,多種多様なアイデンティティ保存された3dヘッドを,カメラポーズ,表情,頭部形状,関節的頸部および顎ポーズの完全な不連続制御下で,魅力的な動的詳細で合成することのできる,非構造画像から訓練された新しい形状誘導3dヘッド合成モデルであるomniavatarを提案する。 このような高レベルの不整合制御を実現するために、制御パラメータに条件付きヘッドジオメトリ(FLAME)を中心とした新しい意味符号距離関数(SDF)を明示的に定義する。 この意味論的SDFにより、観測空間からすべての制御パラメータから非交叉正準空間への微分可能な体積対応写像を構築することができる。 次に、3D対応GANフレームワーク(EG3D)を活用して、標準空間における3Dフルヘッドの詳細な形状と外観を合成し、続いてボリューム対応マップで導かれるボリュームレンダリングステップにより観測空間に出力する。 合成した頭部形状と表現の制御精度を確保するために,頭部SDFに適合する幾何事前損失と,表現符号に適合する制御損失を導入する。 さらに,様々な表現やジョイントポーズを条件とした動的詳細により,時間的リアリズムを強化する。 本モデルは, 定性的および定量的に, 最先端の手法と比較して, 魅力的な動的詳細を持つ, より好ましいアイデンティティ保存型3dヘッドを合成できる。 また,システム設計の選択肢の多くを正当化するためのアブレーション研究も行っています。

関連論文リスト

• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos [47.94545609011594]
  本研究では,野生で撮影されたモノクロRGBビデオから高品質な3次元頭部アバターを学習する方法を提案する。 我々のハイブリッドパイプラインは、3DMMの幾何学的先行と動的追跡とニューラルラディアンス場を組み合わせることで、きめ細かい制御とフォトリアリズムを実現する。
  論文  参考訳（メタデータ） (2023-04-04T01:10:04Z)
• Structured 3D Features for Reconstructing Controllable Avatars [43.36074729431982]
  パラメトリックな統計的メッシュ表面からサンプリングされた高密度な3次元点に画素整列画像特徴をプールする,新しい暗黙の3次元表現に基づくモデルであるStructured 3D Featuresを紹介する。 本研究では,S3Fモデルがモノクロ3D再構成やアルベド,シェーディング推定など,これまでの課題を超越していることを示す。
  論文  参考訳（メタデータ） (2022-12-13T18:57:33Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Controllable Radiance Fields for Dynamic Face Synthesis [125.48602100893845]
  非剛性運動を示す顔力学の生成モデル合成を明示的に制御する方法について検討する。 制御可能な放射場(CoRF) 頭部画像・映像データから,CoRFは3次元認識可能であり,識別,視聴方向,動きの編集が可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T23:17:31Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。