論文の概要: Text-Guided 3D Face Synthesis -- From Generation to Editing

• arxiv url: http://arxiv.org/abs/2312.00375v1
• Date: Fri, 1 Dec 2023 06:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 15:28:50.185093
• Title: Text-Guided 3D Face Synthesis -- From Generation to Editing
• Title（参考訳）: テキストガイドによる3次元顔合成-生成から編集まで
• Authors: Yunjie Wu, Yapeng Meng, Zhipeng Hu, Lincheng Li, Haoqian Wu, Kun Zhou, Weiwei Xu, Xin Yu
• Abstract要約: 顔生成から編集までの統一的なテキスト誘導フレームワークを提案する。 我々は、RGBおよびYUV空間のテクスチャ品質を高めるために、微調整されたテクスチャ拡散モデルを用いている。 整合性を維持しつつ編集効率を向上させるための自己誘導整合性ウェイト戦略を提案する。
• 参考スコア（独自算出の注目度）: 53.86765812392627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-guided 3D face synthesis has achieved remarkable results by leveraging text-to-image (T2I) diffusion models. However, most existing works focus solely on the direct generation, ignoring the editing, restricting them from synthesizing customized 3D faces through iterative adjustments. In this paper, we propose a unified text-guided framework from face generation to editing. In the generation stage, we propose a geometry-texture decoupled generation to mitigate the loss of geometric details caused by coupling. Besides, decoupling enables us to utilize the generated geometry as a condition for texture generation, yielding highly geometry-texture aligned results. We further employ a fine-tuned texture diffusion model to enhance texture quality in both RGB and YUV space. In the editing stage, we first employ a pre-trained diffusion model to update facial geometry or texture based on the texts. To enable sequential editing, we introduce a UV domain consistency preservation regularization, preventing unintentional changes to irrelevant facial attributes. Besides, we propose a self-guided consistency weight strategy to improve editing efficacy while preserving consistency. Through comprehensive experiments, we showcase our method's superiority in face synthesis. Project page: https://faceg2e.github.io/.
• Abstract（参考訳）: テキスト誘導型3次元顔合成は,t2i(text-to-image)拡散モデルを用いることで驚くべき結果を得た。 しかし、既存の作品の多くは直接生成にのみ焦点を合わせ、編集を無視し、反復的な調整によってカスタマイズされた3d顔の合成を制限している。 本稿では,顔生成から編集までの統一的なテキスト誘導フレームワークを提案する。 生成段階では,結合による幾何学的詳細の損失を軽減するために,幾何学的テクスチュアデカップリング生成を提案する。 さらに、デカップリングにより、生成した幾何をテクスチャ生成の条件として利用することができ、高度に幾何学的・テクスチャ整合した結果が得られる。 さらに,RGBおよびYUV空間のテクスチャ品質を向上させるために,微調整テクスチャ拡散モデルを用いる。 編集段階では,まず,事前学習した拡散モデルを用いて顔の形状やテクスチャをテキストに基づいて更新する。 連続的な編集を可能にするために,UV領域の整合性維持規則を導入し,無関係な顔属性に対する意図しない変化を防止する。 また,一貫性を維持しつつ編集効率を向上させるための自己誘導整合重み戦略を提案する。 総合的な実験を通じて,顔合成における手法の優位性を示す。 プロジェクトページ: https://faceg2e.github.io/

関連論文リスト

• MaTe3D: Mask-guided Text-based 3D-aware Portrait Editing [61.014328598895524]
  textbfMaTe3D:マスク誘導型テキストベースの3D画像編集を提案する。 SDFに基づく新しい3Dジェネレータは,SDFと密度の整合性損失により局所的およびグローバルな表現を学習する。 幾何とテクスチャの条件蒸留(CDGT)は視覚的曖昧さを軽減し、テクスチャと幾何学のミスマッチを避ける。
  論文  参考訳（メタデータ） (2023-12-12T03:04:08Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Directional Texture Editing for 3D Models [51.31499400557996]
  ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。 拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
  論文  参考訳（メタデータ） (2023-09-26T12:01:13Z)
• Towards High-Fidelity Text-Guided 3D Face Generation and Manipulation Using only Images [105.92311979305065]
  TG-3DFaceは、よりリアルで美的な3D顔を生成し、ラテント3Dよりも9%のマルチビュー一貫性(MVIC)を高めている。 TG-3DFaceによって生成された描画顔画像は、テキストから2Dの顔/画像生成モデルよりも高いFIDとCLIPスコアを達成する。
  論文  参考訳（メタデータ） (2023-08-31T14:26:33Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• ClipFace: Text-guided Editing of Textured 3D Morphable Models [33.83015491013442]
  ClipFaceはテクスチャ化された顔の3次元形態素モデルのテキスト誘導編集のための新しい自己教師型アプローチである。 ユーザフレンドリーな言語プロンプトを用いて表現の制御と3D顔の出現を可能にする。 我々のモデルは、事前訓練されたCLIPモデルに基づいて、差別化可能なレンダリングと損失を利用して、自己教師型で訓練される。
  論文  参考訳（メタデータ） (2022-12-02T19:01:08Z)
• NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields [40.543998582101146]
  ニューラル放射場における幾何と外観の編集とデカップリングを可能にするNeRFFaceEditingを導入する。 提案手法では,ユーザが幾何学と外観の分離した制御を施したセマンティックマスクによる編集が可能となる。 定性的かつ定量的な評価は,既存の解や代替解と比較して,本手法の幾何学的・外見的制御能力に優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-15T08:11:39Z)
• NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing [39.71252429542249]
  本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。 メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。 実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-25T05:30:50Z)
• Neural Parameterization for Dynamic Human Head Editing [26.071370285285465]
  暗黙的手法と明示的手法の両方の利点を提供するハイブリッド表現であるニューラル化(NeP)を提案する。 NePは、シーンの幾何学と外観のきめ細かい編集を可能にしながら、写真リアリスティックなレンダリングを可能にする。 その結果,NePは高い編集性を維持しつつ,ほぼ同じレベルのレンダリング精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-07-01T05:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。