論文の概要: Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation

• arxiv url: http://arxiv.org/abs/2303.13873v3
• Date: Wed, 27 Sep 2023 10:35:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 19:42:38.949707
• Title: Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation
• Title（参考訳）: Fantasia3D:高品質なテキストから3Dコンテンツ作成のための幾何学と外観
• Authors: Rui Chen, Yongwei Chen, Ningxin Jiao, Kui Jia
• Abstract要約: 本稿では,高品質なテキスト・ツー・3Dコンテンツ作成のためのFantasia3Dの新たな手法を提案する。 Fantasia3Dの鍵となるのは、幾何学と外観の混乱したモデリングと学習である。 我々のフレームワークは、人気のあるグラフィックスエンジンとより互換性があり、生成した3Dアセットのリライティング、編集、物理シミュレーションをサポートしています。
• 参考スコア（独自算出の注目度）: 45.69270771487455
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Automatic 3D content creation has achieved rapid progress recently due to the availability of pre-trained, large language models and image diffusion models, forming the emerging topic of text-to-3D content creation. Existing text-to-3D methods commonly use implicit scene representations, which couple the geometry and appearance via volume rendering and are suboptimal in terms of recovering finer geometries and achieving photorealistic rendering; consequently, they are less effective for generating high-quality 3D assets. In this work, we propose a new method of Fantasia3D for high-quality text-to-3D content creation. Key to Fantasia3D is the disentangled modeling and learning of geometry and appearance. For geometry learning, we rely on a hybrid scene representation, and propose to encode surface normal extracted from the representation as the input of the image diffusion model. For appearance modeling, we introduce the spatially varying bidirectional reflectance distribution function (BRDF) into the text-to-3D task, and learn the surface material for photorealistic rendering of the generated surface. Our disentangled framework is more compatible with popular graphics engines, supporting relighting, editing, and physical simulation of the generated 3D assets. We conduct thorough experiments that show the advantages of our method over existing ones under different text-to-3D task settings. Project page and source codes: https://fantasia3d.github.io/.
• Abstract（参考訳）: 3Dコンテンツの自動作成は、事前訓練された大規模言語モデルと画像拡散モデルが利用可能であることから、近年急速に進歩している。 既存のtext-to-3dメソッドでは、ボリュームレンダリングによる幾何学と外観を結合した暗黙的なシーン表現が一般的であり、より細かいジオメトリの復元とフォトリアリスティックなレンダリングの面では最適ではない。 本稿では,高品質テキストから3dコンテンツ作成のためのfantasia3dの新しい手法を提案する。 fantasia3dの鍵は、幾何学と外観の疎結合なモデリングと学習である。 幾何学学習では,ハイブリッドなシーン表現に依拠し,画像拡散モデルの入力として表現から抽出した面正規化を符号化する。 本研究では,空間的に変化する双方向反射率分布関数 (brdf) をtext-to-3dタスクに導入し, 生成面の光リアリスティックレンダリングのための表面材料を学習する。 当社のdisentangledフレームワークは、一般的なグラフィックエンジンと互換性があり、生成された3dアセットのリライト、編集、物理シミュレーションをサポートしています。 異なるテキストから3dのタスク設定下で既存の方法よりも優れた方法を示す徹底的な実験を行う。 プロジェクトページとソースコード: https://fantasia3d.github.io/

関連論文リスト

• ScalingGaussian: Enhancing 3D Content Creation with Generative Gaussian Splatting [30.99112626706754]
  高品質な3Dアセットの作成は、デジタル遺産、エンターテイメント、ロボット工学の応用において最重要である。 伝統的に、このプロセスはモデリングに熟練した専門家と専門的なソフトウェアを必要とする。 本稿では,3Dテクスチャを効率的に生成する新しい3Dコンテンツ作成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-26T18:26:01Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• EfficientDreamer: High-Fidelity and Robust 3D Creation via Orthogonal-view Diffusion Prior [59.25950280610409]
  直交ビュー画像誘導を利用した高画質な3Dコンテンツ生成パイプラインを提案する。 本稿では,与えられたテキストプロンプトに基づいて4つのサブイメージからなる画像を生成する2次元拡散モデルを提案する。 また,生成した3Dコンテンツの詳細をさらに改善する3D合成ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T07:39:26Z)
• TADA! Text to Animatable Digital Avatars [57.52707683788961]
  TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。 我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。 我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:10Z)
• TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition [39.312567993736025]
  本稿では,テキストのプロンプトに従って,与えられた3次元形状の外観スタイルをフォトリアリスティックな方法で転送するタンゴを提案する。 TANGOは,低品質メッシュのスタイリングにおいて,フォトリアリスティックな品質,3次元幾何の整合性,ロバスト性の観点から,既存のテキスト駆動型3Dスタイル転送法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T13:52:18Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。