論文の概要: High-Fidelity 3D Face Generation from Natural Language Descriptions

• arxiv url: http://arxiv.org/abs/2305.03302v1
• Date: Fri, 5 May 2023 06:10:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 15:07:48.881046
• Title: High-Fidelity 3D Face Generation from Natural Language Descriptions
• Title（参考訳）: 自然言語記述による高忠実度3次元顔生成
• Authors: Menghua Wu, Hao Zhu, Linjia Huang, Yiyu Zhuang, Yuanxun Lu, Xun Cao
• Abstract要約: 本論では,1) 記述的テキストアノテーションによる高品質な3次元顔データ不足,2) 記述的言語空間と形状・外観空間との複雑なマッピング関係について論じる。 Describe3Dデータセットは、テキストから3Dの顔生成タスクのためのきめ細かいテキスト記述を備えた最初の大規模データセットである。 まず, 具体的記述と一致する3次元顔を生成するための2段階のフレームワークを提案し, 抽象的記述を用いて3次元形状とテクスチャ空間のパラメータを最適化し, 3次元顔モデルを洗練する。
• 参考スコア（独自算出の注目度）: 12.22081892575208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing high-quality 3D face models from natural language descriptions is very valuable for many applications, including avatar creation, virtual reality, and telepresence. However, little research ever tapped into this task. We argue the major obstacle lies in 1) the lack of high-quality 3D face data with descriptive text annotation, and 2) the complex mapping relationship between descriptive language space and shape/appearance space. To solve these problems, we build Describe3D dataset, the first large-scale dataset with fine-grained text descriptions for text-to-3D face generation task. Then we propose a two-stage framework to first generate a 3D face that matches the concrete descriptions, then optimize the parameters in the 3D shape and texture space with abstract description to refine the 3D face model. Extensive experimental results show that our method can produce a faithful 3D face that conforms to the input descriptions with higher accuracy and quality than previous methods. The code and Describe3D dataset are released at https://github.com/zhuhao-nju/describe3d .
• Abstract（参考訳）: 自然言語記述から高品質な3d顔モデルを合成することは、アバター作成、仮想現実、テレプレゼンスなど、多くのアプリケーションにとって非常に有用である。 しかし、この課題に関わった研究はほとんどなかった。 私たちは大きな障害がそこにあると主張する 1)記述的テキストアノテーションによる高品質な3D顔データの欠如、及び 2)記述言語空間と形状/出現空間の複雑なマッピング関係。 これらの問題を解決するために,テキストから3次元の顔生成タスクのための詳細なテキスト記述を備えた,最初の大規模データセットである describe3d dataset を構築した。 次に,まず具体的記述にマッチする3次元顔を生成し,そのパラメータを抽象的記述で3次元形状とテクスチャ空間のパラメータに最適化して3次元顔モデルを改善する2段階フレームワークを提案する。 実験結果から,本手法は入力記述に適合する忠実な3次元面を従来手法よりも高精度かつ高品質に生成できることが示された。 コードと説明3dデータセットはhttps://github.com/zhuhao-nju/describe3dでリリースされる。

関連論文リスト

• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Towards High-Fidelity Text-Guided 3D Face Generation and Manipulation Using only Images [105.92311979305065]
  TG-3DFaceは、よりリアルで美的な3D顔を生成し、ラテント3Dよりも9%のマルチビュー一貫性(MVIC)を高めている。 TG-3DFaceによって生成された描画顔画像は、テキストから2Dの顔/画像生成モデルよりも高いFIDとCLIPスコアを達成する。
  論文  参考訳（メタデータ） (2023-08-31T14:26:33Z)
• TADA! Text to Animatable Digital Avatars [57.52707683788961]
  TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。 我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。 我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:10Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation [45.69270771487455]
  本稿では,高品質なテキスト・ツー・3Dコンテンツ作成のためのFantasia3Dの新たな手法を提案する。 Fantasia3Dの鍵となるのは、幾何学と外観の混乱したモデリングと学習である。 我々のフレームワークは、人気のあるグラフィックスエンジンとより互換性があり、生成した3Dアセットのリライティング、編集、物理シミュレーションをサポートしています。
  論文  参考訳（メタデータ） (2023-03-24T09:30:09Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• 3D-TOGO: Towards Text-Guided Cross-Category 3D Object Generation [107.46972849241168]
  3D-TOGOモデルは、良好なテクスチャを持つニューラルレージアンスフィールドの形で3Dオブジェクトを生成する。 最大3Dオブジェクトデータセット(ABO)の実験を行い、3D-TOGOが高品質な3Dオブジェクトをより良く生成できることを検証する。
  論文  参考訳（メタデータ） (2022-12-02T11:31:49Z)
• FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face Reconstruction [29.920622006999732]
  大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。 FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。 また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
  論文  参考訳（メタデータ） (2021-11-01T16:48:34Z)
• FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction [39.95272819738226]
  単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。 FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
  論文  参考訳（メタデータ） (2020-03-31T07:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。