論文の概要: DreamCraft: Text-Guided Generation of Functional 3D Environments in Minecraft
- arxiv url: http://arxiv.org/abs/2404.15538v1
- Date: Tue, 23 Apr 2024 21:57:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 15:03:25.069336
- Title: DreamCraft: Text-Guided Generation of Functional 3D Environments in Minecraft
- Title（参考訳）: DreamCraft:Minecraftの関数型3D環境のテキストガイド
- Authors: Sam Earle, Filippos Kokkinos, Yuhe Nie, Julian Togelius, Roberta Raileanu,
- Abstract要約: 本研究では,オープンワールドゲームMinecraftにおけるフリーフォームテキストプロンプトから機能的な3Dアーティファクトを生成する手法を提案する。
我々の手法であるDreamCraftは、与えられたテキスト記述にマッチするアーティファクトを表現するために、量子化されたNeRF(Neural Radiance Fields)を訓練する。
対象の分布にマッチする3D構造の生成や,ブロック型に対する特定の隣接ルールに従うために,これをどのように活用するかを示す。
- 参考スコア（独自算出の注目度）: 19.9639990460142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Procedural Content Generation (PCG) algorithms enable the automatic generation of complex and diverse artifacts. However, they don't provide high-level control over the generated content and typically require domain expertise. In contrast, text-to-3D methods allow users to specify desired characteristics in natural language, offering a high amount of flexibility and expressivity. But unlike PCG, such approaches cannot guarantee functionality, which is crucial for certain applications like game design. In this paper, we present a method for generating functional 3D artifacts from free-form text prompts in the open-world game Minecraft. Our method, DreamCraft, trains quantized Neural Radiance Fields (NeRFs) to represent artifacts that, when viewed in-game, match given text descriptions. We find that DreamCraft produces more aligned in-game artifacts than a baseline that post-processes the output of an unconstrained NeRF. Thanks to the quantized representation of the environment, functional constraints can be integrated using specialized loss terms. We show how this can be leveraged to generate 3D structures that match a target distribution or obey certain adjacency rules over the block types. DreamCraft inherits a high degree of expressivity and controllability from the NeRF, while still being able to incorporate functional constraints through domain-specific objectives.
- Abstract（参考訳）: 手続き的コンテンツ生成(PCG)アルゴリズムは、複雑で多様なアーティファクトの自動生成を可能にする。
しかし、それらは生成されたコンテンツに対して高いレベルの制御を提供しておらず、通常ドメインの専門知識を必要とします。
対照的に、テキストから3Dの手法では、ユーザーは自然言語で望ましい特徴を指定でき、高い柔軟性と表現性を提供する。
しかし、PCGとは異なり、そのようなアプローチは機能を保証することはできない。
本稿では,オープンワールドゲームMinecraftにおけるフリーフォームテキストプロンプトから,関数型3Dアーティファクトを生成する手法を提案する。
我々の手法であるDreamCraftは、与えられたテキスト記述にマッチするアーティファクトを表現するために、量子化されたNeRF(Neural Radiance Fields)を訓練する。
我々はDreamCraftが、制約のないNeRFの出力を後処理するベースラインよりも、より整列したゲーム内アーティファクトを生成することを発見した。
環境の量子化表現のおかげで、機能的制約は特別な損失項を使って統合することができる。
対象の分布にマッチする3D構造の生成や,ブロック型に対する特定の隣接ルールに従うために,これをどのように活用するかを示す。
DreamCraftは、NeRFから高い表現性と制御性を継承すると同時に、ドメイン固有の目的を通じて機能的な制約を組み込むことができる。
関連論文リスト
- SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。
本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2024-10-11T17:59:58Z) - Minecraft-ify: Minecraft Style Image Generation with Text-guided Image
Editing for In-Game Application [5.431779602239565]
立方体多様体を有する3次元仮想キャラクタに適したテクスチャマッピングのための顔焦点画像を生成することができる。
StyleGANとStyleCLIPを使ってテキストガイダンスで操作できる。
論文 参考訳（メタデータ） (2024-02-08T07:01:00Z) - GO-NeRF: Generating Virtual Objects in Neural Radiance Fields [75.13534508391852]
GO-NeRFは、既存のNeRF内の高品質で調和した3Dオブジェクト生成にシーンコンテキストを利用することができる。
本手法では,生成した3次元オブジェクトをシームレスにシーンに合成する構成的レンダリング形式を用いる。
論文 参考訳（メタデータ） (2024-01-11T08:58:13Z) - CG3D: Compositional Generation for Text-to-3D via Gaussian Splatting [57.14748263512924]
CG3Dは、スケーラブルな3Dアセットを合成的に生成する手法である。
ガンマ放射場は、オブジェクトの合成を可能にするためにパラメータ化され、意味的および物理的に一貫したシーンを可能にする能力を持っている。
論文 参考訳（メタデータ） (2023-11-29T18:55:38Z) - IPDreamer: Appearance-Controllable 3D Object Generation with Complex Image Prompts [90.49024750432139]
IPDreamerは複雑な$textbfI$mage $textbfP$romptsから複雑な外観特徴をキャプチャし、合成した3Dオブジェクトをこれらの特徴と整合させる。
IPDreamerはテキストと複雑な画像のプロンプトに整合した高品質な3Dオブジェクトを一貫して生成することを示した。
論文 参考訳（メタデータ） (2023-10-09T03:11:08Z) - TextField3D: Towards Enhancing Open-Vocabulary 3D Generation with Noisy Text Fields [98.62319447738332]
条件付き3D生成モデルであるTextField3Dを導入する。
テキストプロンプトを直接入力として使用するのではなく、与えられたテキストプロンプトの潜在空間に動的ノイズを注入することを提案する。
テクスチャとテクスチャの両面で条件生成を導くため、テキスト3D判別器とテキスト2.5D判別器でマルチモーダル識別を構築する。
論文 参考訳（メタデータ） (2023-09-29T12:14:41Z) - TADA! Text to Animatable Digital Avatars [57.52707683788961]
TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。
我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。
我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
論文 参考訳（メタデータ） (2023-08-21T17:59:10Z) - Fantasia3D: Disentangling Geometry and Appearance for High-quality
Text-to-3D Content Creation [45.69270771487455]
本稿では,高品質なテキスト・ツー・3Dコンテンツ作成のためのFantasia3Dの新たな手法を提案する。
Fantasia3Dの鍵となるのは、幾何学と外観の混乱したモデリングと学習である。
我々のフレームワークは、人気のあるグラフィックスエンジンとより互換性があり、生成した3Dアセットのリライティング、編集、物理シミュレーションをサポートしています。
論文 参考訳（メタデータ） (2023-03-24T09:30:09Z) - TEGLO: High Fidelity Canonical Texture Mapping from Single-View Images [1.4502611532302039]
画像の単一ビューから3次元表現を学習するためのTEGLO(Textured EG3D-GLO)を提案する。
我々は, 条件付きニューラルレージアンスフィールド(NeRF)を, 明示的な3次元監視なしに訓練することで実現した。
このようなマッピングによって、共有トポロジのメッシュを必要としないテクスチャ転送やテクスチャ編集が可能であることを実証する。
論文 参考訳（メタデータ） (2023-03-24T01:52:03Z) - Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures [72.44361273600207]
我々は, スコア蒸留を, 一般に利用可能な, 計算効率の良い遅延拡散モデルに適用する。
潜在拡散モデルは、事前訓練された自己エンコーダのコンパクト潜在空間に全拡散過程を適用する。
これらの結果から, 3次元メッシュに直接, 潜在スコア蒸留を適用できることが示唆された。
論文 参考訳（メタデータ） (2022-11-14T18:25:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。