論文の概要: Controllable Radiance Fields for Dynamic Face Synthesis

• arxiv url: http://arxiv.org/abs/2210.05825v1
• Date: Tue, 11 Oct 2022 23:17:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 12:41:14.501709
• Title: Controllable Radiance Fields for Dynamic Face Synthesis
• Title（参考訳）: 動的顔合成のための制御可能な放射場
• Authors: Peiye Zhuang, Liqian Ma, Oluwasanmi Koyejo, Alexander G. Schwing
• Abstract要約: 非剛性運動を示す顔力学の生成モデル合成を明示的に制御する方法について検討する。 制御可能な放射場(CoRF) 頭部画像・映像データから,CoRFは3次元認識可能であり,識別,視聴方向,動きの編集が可能であることを示す。
• 参考スコア（独自算出の注目度）: 125.48602100893845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on 3D-aware image synthesis has achieved compelling results using advances in neural rendering. However, 3D-aware synthesis of face dynamics hasn't received much attention. Here, we study how to explicitly control generative model synthesis of face dynamics exhibiting non-rigid motion (e.g., facial expression change), while simultaneously ensuring 3D-awareness. For this we propose a Controllable Radiance Field (CoRF): 1) Motion control is achieved by embedding motion features within the layered latent motion space of a style-based generator; 2) To ensure consistency of background, motion features and subject-specific attributes such as lighting, texture, shapes, albedo, and identity, a face parsing net, a head regressor and an identity encoder are incorporated. On head image/video data we show that CoRFs are 3D-aware while enabling editing of identity, viewing directions, and motion.
• Abstract（参考訳）: 最近の3D認識画像合成の研究は、ニューラルレンダリングの進歩により、説得力のある成果を上げている。 しかし、顔力学の3D認識合成はあまり注目されていない。 そこで本研究では,非剛性動作(表情変化など)を示す顔力学の生成モデル生成を,同時に3D認識の確保を図る。 そのため、制御可能な放射場(CoRF: Controllable Radiance Field)を提案する。 1) 動作制御は, スタイルベースジェネレータの層状潜在運動空間内に運動特徴を埋め込むことにより達成される。 2)背景、動きの特徴、照明、テクスチャ、形状、アルベド、アイデンティティなどの主題固有の属性の整合性を確保するため、顔解析ネット、ヘッドレグレッサ、アイデンティティエンコーダが組み込まれている。 頭部画像・映像データから,CoRFは3次元認識可能であり,識別,視聴方向,動きの編集が可能であった。

関連論文リスト

• G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
  この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。 我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。 顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
  論文  参考訳（メタデータ） (2024-08-23T13:13:24Z)
• OmniAvatar: Geometry-Guided Controllable 3D Head Synthesis [81.70922087960271]
  我々は,非構造画像から学習した新しい幾何学誘導型3次元頭部合成モデルであるOmniAvatarを提案する。 我々のモデルは、最先端の手法と比較して、魅力的なダイナミックディテールで、より好ましいID保存された3Dヘッドを合成することができる。
  論文  参考訳（メタデータ） (2023-03-27T18:36:53Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [40.2714783162419]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成活動場(cGOF)で、生成された顔の形状を効果的に強制し、与えられた3Dモルファブルモデル(3DMM)メッシュにコミットする。 実験により,高忠実度顔画像の生成が可能な提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-16T17:58:42Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• 3D to 4D Facial Expressions Generation Guided by Landmarks [35.61963927340274]
  1つの入力3D中性顔から動的3D (4D) 表情を生成できるか? まず,メッシュエンコーダ・デコーダアーキテクチャ(expr-ed)を提案する。このアーキテクチャは,一連の3dランドマークを利用して,中立的な面から表現力のある3d顔を生成する。 マニホールド値のGANを用いて表情の時間的ダイナミクスをモデル化し、それを4Dに拡張する。
  論文  参考訳（メタデータ） (2021-05-16T15:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。