論文の概要: Fake It Without Making It: Conditioned Face Generation for Accurate 3D Face Reconstruction

• arxiv url: http://arxiv.org/abs/2307.13639v2
• Date: Wed, 8 Nov 2023 14:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 19:24:54.953151
• Title: Fake It Without Making It: Conditioned Face Generation for Accurate 3D Face Reconstruction
• Title（参考訳）: 作らない偽物:正確な3d顔再建のための条件付き顔生成
• Authors: Will Rowan, Patrik Huber, Nick Pears, Andrew Keeling
• Abstract要約: 本稿では,250Kのフォトリアリスティック画像とそれに対応する形状パラメータと深度マップの大規模な合成データセットを生成する手法について述べる。 人間の顔のFLAME 3D Morphable Model(3DMM)から採取した深度マップ上での安定拡散条件により,人種と性別のバランスがとれるようにデザインされた多様な形状の顔画像を生成することができる。 我々は、3Dの監督や手動の3Dアセット作成を必要とせずに、NoWベンチマーク上での競合性能を実現する、SynthFaceでトレーニングされたディープニューラルネットワークであるControlFaceを提案する。
• 参考スコア（独自算出の注目度）: 5.079602839359523
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate 3D face reconstruction from 2D images is an enabling technology with applications in healthcare, security, and creative industries. However, current state-of-the-art methods either rely on supervised training with very limited 3D data or self-supervised training with 2D image data. To bridge this gap, we present a method to generate a large-scale synthesised dataset of 250K photorealistic images and their corresponding shape parameters and depth maps, which we call SynthFace. Our synthesis method conditions Stable Diffusion on depth maps sampled from the FLAME 3D Morphable Model (3DMM) of the human face, allowing us to generate a diverse set of shape-consistent facial images that is designed to be balanced in race and gender. We further propose ControlFace, a deep neural network, trained on SynthFace, which achieves competitive performance on the NoW benchmark, without requiring 3D supervision or manual 3D asset creation. The complete SynthFace dataset will be made publicly available upon publication.
• Abstract（参考訳）: 2d画像からの正確な3d顔再構成は、医療、セキュリティ、クリエイティブ産業に応用できるテクノロジーである。 しかし、現在の最先端の手法は、非常に限られた3Dデータによる教師付きトレーニングか、2D画像データによる自己監督型トレーニングに依存している。 このギャップを埋めるために,250Kのフォトリアリスティック画像とそれに対応する形状パラメータと深度マップの大規模な合成データセットを生成する手法をSynthFaceと呼ぶ。 人間の顔のFLAME 3D Morphable Model(3DMM)から採取した深度マップ上での安定拡散条件により,人種と性別のバランスがとれるようにデザインされた多様な形状の顔画像を生成することができる。 さらに,3次元の監視や手作業による3dアセット生成を必要とせずに,現在のベンチマークで競争力を発揮できる,深層ニューラルネットワークであるcontrolfaceを提案する。 SynthFaceの全データセットは公開時に公開される。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• Towards Realistic Generative 3D Face Models [41.574628821637944]
  本稿では,高品質なアルベドと精密な3次元形状を生成するために,3次元制御可能な顔モデルを提案する。 2次元顔生成モデルとセマンティック顔操作を組み合わせることで、詳細な3次元顔の編集を可能にする。
  論文  参考訳（メタデータ） (2023-04-24T22:47:52Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Generating 2D and 3D Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution [68.8204255655161]
  マスターフェイス(英: master face)とは、人口の比率の高い顔認証をパスする顔画像である。 2次元および3次元の顔認証モデルに対して,これらの顔の最適化を行う。 3Dでは,2次元スタイルGAN2ジェネレータを用いて顔を生成し,深部3次元顔再構成ネットワークを用いて3次元構造を予測する。
  論文  参考訳（メタデータ） (2022-11-25T09:15:38Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [40.2714783162419]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成活動場(cGOF)で、生成された顔の形状を効果的に強制し、与えられた3Dモルファブルモデル(3DMM)メッシュにコミットする。 実験により,高忠実度顔画像の生成が可能な提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-16T17:58:42Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。