論文の概要: CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields

• arxiv url: http://arxiv.org/abs/2211.13251v2
• Date: Sun, 29 Oct 2023 09:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 23:43:45.239222
• Title: CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
• Title（参考訳）: CGOF++:条件付き生成操作場を用いた制御可能な3次元顔合成
• Authors: Keqiang Sun, Shangzhe Wu, Ning Zhang, Zhaoyang Huang, Quan Wang, Hongsheng Li
• Abstract要約: 生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 52.14985242487535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capitalizing on the recent advances in image generation models, existing controllable face image synthesis methods are able to generate high-fidelity images with some levels of controllability, e.g., controlling the shapes, expressions, textures, and poses of the generated face images. However, previous methods focus on controllable 2D image generative models, which are prone to producing inconsistent face images under large expression and pose changes. In this paper, we propose a new NeRF-based conditional 3D face synthesis framework, which enables 3D controllability over the generated face images by imposing explicit 3D conditions from 3D face priors. At its core is a conditional Generative Occupancy Field (cGOF++) that effectively enforces the shape of the generated face to conform to a given 3D Morphable Model (3DMM) mesh, built on top of EG3D [1], a recent tri-plane-based generative model. To achieve accurate control over fine-grained 3D face shapes of the synthesized images, we additionally incorporate a 3D landmark loss as well as a volume warping loss into our synthesis framework. Experiments validate the effectiveness of the proposed method, which is able to generate high-fidelity face images and shows more precise 3D controllability than state-of-the-art 2D-based controllable face synthesis methods.
• Abstract（参考訳）: 画像生成モデルの最近の進歩を活かして、既存の制御可能な顔画像合成手法は、生成した顔画像の形状、表情、テクスチャ、ポーズの制御など、ある程度の制御性を持つ高忠実な画像を生成することができる。 しかし、従来の手法では制御可能な2次元画像生成モデルに焦点をあてており、大きな表情とポーズ変化の下で一貫性のない顔画像を生成する傾向がある。 本稿では,3次元顔先行画像から3次元条件を明示することにより,生成した顔画像の3次元制御を可能にする,NeRFベースの条件付き3次元顔合成フレームワークを提案する。 コアとなるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状を、最新の三面体ベースの生成モデルEG3D [1]上に構築された所定の3Dモルファブルモデル(3DMM)メッシュに効果的に適合させる。 合成画像の微細な3次元顔形状の正確な制御を実現するため,合成フレームワークに3次元ランドマークの損失と体積の歪みの損失を取り入れた。 提案手法の有効性を検証し,高忠実な顔画像を生成し,最先端の2Dベースの制御可能な顔合成法よりも高精度な3D制御性を示す。

関連論文リスト

• Fake It Without Making It: Conditioned Face Generation for Accurate 3D Face Reconstruction [5.079602839359523]
  本稿では,250Kのフォトリアリスティック画像とそれに対応する形状パラメータと深度マップの大規模な合成データセットを生成する手法について述べる。 人間の顔のFLAME 3D Morphable Model(3DMM)から採取した深度マップ上での安定拡散条件により,人種と性別のバランスがとれるようにデザインされた多様な形状の顔画像を生成することができる。 我々は、3Dの監督や手動の3Dアセット作成を必要とせずに、NoWベンチマーク上での競合性能を実現する、SynthFaceでトレーニングされたディープニューラルネットワークであるControlFaceを提案する。
  論文  参考訳（メタデータ） (2023-07-25T16:42:06Z)
• Towards Realistic Generative 3D Face Models [41.574628821637944]
  本稿では,高品質なアルベドと精密な3次元形状を生成するために,3次元制御可能な顔モデルを提案する。 2次元顔生成モデルとセマンティック顔操作を組み合わせることで、詳細な3次元顔の編集を可能にする。
  論文  参考訳（メタデータ） (2023-04-24T22:47:52Z)
• CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
  本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。 合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:59:02Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [40.2714783162419]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成活動場(cGOF)で、生成された顔の形状を効果的に強制し、与えられた3Dモルファブルモデル(3DMM)メッシュにコミットする。 実験により,高忠実度顔画像の生成が可能な提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-16T17:58:42Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)
• Convolutional Generation of Textured 3D Meshes [34.20939983046376]
  単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。 我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。 本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-13T15:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。