論文の概要: NaLA: A 3D Native LLM Layout Agent for High-quality 3D Scene Generation
- arxiv url: http://arxiv.org/abs/2606.29395v1
- Date: Sun, 28 Jun 2026 13:33:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.90472
- Title: NaLA: A 3D Native LLM Layout Agent for High-quality 3D Scene Generation
- Title(参考訳): NaLA:高品質な3Dシーン生成のための3DネイティブLCMレイアウトエージェント
- Abstract要約: 高品質な3次元シーン生成のためのネイティブ3次元LLMレイアウトエージェントであるNaLAを提案する。
入力に対して、NaLAは3Dシーン境界と3Dアセットを直接LSMにエンコードする。
実験により、NaLAは、生成品質と推論の両方において、以前のレイアウトエージェントよりも優れていることが示された。
- 参考スコア(独自算出の注目度): 13.196135387096298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Large Language Models (LLMs) have emerged as promising layout agents for 3D scene generation. Existing layout agents still suffer from implausible layout generation because most of them convert 3D assets and 3D layouts into textual descriptions as inputs and outputs, which involves severe information loss due to the modality gap between texts and 3D assets and 3D layouts. We propose NaLA, a native 3D LLM layout Agent for high-quality 3D scene generation by placing 3D assets in the scene. For the inputs, NaLA encodes 3D scene boundaries and 3D assets directly into the LLM, preserving fine-grained geometry and enabling explicit reasoning over relationships like collisions, surface supporting, and containment. To accurately output the positions and orientations of assets, NaLA adopts a coarse-to-fine prediction mechanism that first predicts discrete poses in an autoregressive manner and then refines the discrete poses with a continuous regression. Trained on diverse layout datasets, NaLA attains strong geometric perception and layout coherence. Experiments demonstrate that NaLA outperforms prior layout agents in both generation quality and inference efficiency, with comprehensive ablation studies to verify each component's effectiveness.
- Abstract(参考訳): 近年,Large Language Models (LLMs) が3次元シーン生成のための有望なレイアウトエージェントとして登場している。
既存のレイアウトエージェントは、3Dアセットと3Dアセットを入力や出力としてテキスト記述に変換し、テキストと3Dアセットと3Dアセットの間のモダリティギャップと3Dアセットの間に深刻な情報損失をもたらすため、いまだに予測不可能なレイアウト生成に悩まされている。
シーンに3Dアセットを配置することで高品質な3Dシーン生成のためのネイティブな3D LLMレイアウトエージェントであるNaLAを提案する。
入力に対して、NaLAは3Dシーン境界と3Dアセットを直接LLMにエンコードし、粒度の細かい幾何学を保存し、衝突や表面の支持、封じ込めといった関係に対する明確な推論を可能にする。
資産の位置と配向を正確に出力するために、NaLAはまず離散ポーズを自己回帰的に予測し、続いて離散ポーズを連続回帰で洗練する粗大な予測機構を採用する。
多様なレイアウトデータセットに基づいてトレーニングされたNaLAは、強力な幾何学的認識とレイアウトコヒーレンスを実現する。
実験により、NaLAは、各コンポーネントの有効性を検証するための包括的なアブレーション研究により、生成品質と推論効率の両方において、事前のレイアウトエージェントよりも優れていることが示された。
関連論文リスト
- Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation [76.16065370700488]
We introduced Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and possible temporally coherent action generation。
我々は,Lift3D-VLAがMetaWorldとRLBenchの平均成功率を10.8%,11.1%向上したことを示す。
論文 参考訳(メタデータ) (2026-07-07T17:59:47Z) - Direct Numerical Layout Generation for 3D Indoor Scene Synthesis via Spatial Reasoning [30.400355766831307]
3D屋内シーン合成は、AIとデジタルコンテンツ作成の具体化に不可欠である。
既存のメソッドは、オープン語彙であり、きめ細かいユーザー指示に一致したシーンを生成するのに失敗する。
テキスト記述から数値的な3Dレイアウトを直接生成するフレームワークであるDirectを導入する。
論文 参考訳(メタデータ) (2025-06-05T17:59:42Z) - MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。
最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。
本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
論文 参考訳(メタデータ) (2025-03-23T16:40:20Z) - Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces [52.237827968294766]
単モーダルテキストと3Dエンコーダの有意な訓練後特徴アライメントが,性能に限界をもたらすことを示す。
次に、対応する特徴空間の部分空間の抽出に焦点をあて、学習された表現を高次元の低次元部分空間に射影することにより、アライメントの質が著しく高くなることを発見する。
私たちの作品は、3Dユニモーダルとテキストの特徴空間のトレーニング後のアライメントのベースラインを確立するのに役立つ最初の作品です。
論文 参考訳(メタデータ) (2025-03-07T09:51:56Z) - 3UR-LLM: An End-to-End Multimodal Large Language Model for 3D Scene Understanding [49.15555885075644]
オープンソースの2D MLLMとLCMをベースとしたパイプラインを開発し,高品質な3Dテキストペアを生成する。
本稿では,3次元シーンの正確な解釈を目的としたエンドツーエンド3次元MLLMである3UR-LLMモデルを紹介する。
論文 参考訳(メタデータ) (2025-01-14T03:50:23Z) - MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。
結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
論文 参考訳(メタデータ) (2024-06-13T17:59:30Z) - Planner3D: LLM-enhanced graph prior meets 3D indoor scene explicit regularization [31.52569918586902]
3Dシーンの合成は、ロボティクス、映画、ビデオゲームといった様々な産業に多様な応用がある。
本稿では,シーングラフからリアルで合理的な屋内シーンを生成することを目的とする。
本手法は,特にシーンレベルの忠実度の観点から,より優れた3次元シーン合成を実現する。
論文 参考訳(メタデータ) (2024-03-19T15:54:48Z) - GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。
GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
論文 参考訳(メタデータ) (2024-02-11T13:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。