論文の概要: Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering

• arxiv url: http://arxiv.org/abs/2609.38177v1
• Date: Tue, 29 Sep 2026 17:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.837297
• Title: Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering
• Title（参考訳）: MLLMが答える3Dシーンを3Dで再現する「Imagine3D-LLM」
• Abstract要約: マルチビュー画像から3次元世界を考えることは、マルチモーダル大言語モデルにとって根本的な課題である。 シーンのコンパクトな3D表現を組み立てることを学ぶMLLMであるImagine3D-LLMを紹介する。 本研究では,複数の空間的推論と3次元理解ベンチマークにおいて,Imagine3D-LLMが従来手法より一貫して優れていたことを示す。
• 参考スコア（独自算出の注目度）: 117.00090778730738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning about the 3D world from multi-view images remains a fundamental challenge for Multimodal Large Language Models (MLLMs). While modern MLLMs handle single-image inputs effectively, they struggle to integrate evidence across viewpoints into a coherent 3D understanding. A growing body of work attempts to close this gap by injecting 3D awareness into MLLMs, either by boosting fine-grained pixel-level cross-view correspondence or by fusing features from 3D geometry foundation models, yet a substantial gap to human reasoning persists. In this work, we revisit human spatial reasoning, which suggests that rather than relying on fine-grained geometry cues, humans roughly identify common objects across views, infer the relative geometry between viewpoints, and assemble a coarse 3D layout of the scene. Inspired by this process, we introduce Imagine3D-LLM, an MLLM that learns to assemble a similar compact 3D representation of the scene and conditions its answer on this representation. Concretely, we append a small set of learnable summary tokens after the image tokens, decode them into a compact 3D Gaussian Splatting representation supervised by a photometric reconstruction loss, and train jointly with the standard next-token prediction objective. Notably, although only the summary tokens receive direct reconstruction supervision, this objective also induces stronger cross-frame correspondence within the LLM's underlying image features, suggesting that learning to reconstruct propagates 3D-aware signals throughout the model. As a result, Imagine3D-LLM consistently outperforms prior approaches across multiple spatial reasoning and 3D understanding benchmarks, suggesting that imagining the scene can be more effective than being told its pixel-wise geometry.
• Abstract（参考訳）: 多視点画像から3次元世界を考えることは、MLLM(Multimodal Large Language Models)の根本的な課題である。 現代のMLLMはシングルイメージ入力を効果的に扱うが、視点をまたいだエビデンスをコヒーレントな3D理解に統合することは困難である。 MLLMに3D認識を注入することで、微細なピクセルレベルのクロスビュー対応を強化するか、3D幾何学の基礎モデルの特徴を融合させることによって、このギャップを埋めようとしているが、人間の推論にはかなりのギャップが残っている。 本研究は,人間の空間的推論を再考し,微粒な幾何学的手がかりに頼るのではなく,人間が視界を横切る共通物体を大まかに識別し,視点間の相対的幾何学を推定し,シーンの粗い3次元レイアウトを組み立てることを示唆する。 このプロセスにインスパイアされたMLLMであるImagine3D-LLMを導入する。 具体的には、画像トークンの後、学習可能な要約トークンの小さなセットを付加し、それらを光度再構成損失によって教師されるコンパクトな3次元ガウススプラッティング表現にデコードし、標準の次トーケン予測目標と共同で訓練する。 特に、要約トークンのみが直接再構成の監督を受けるが、この目的はLLMの基盤となる画像特徴の中でより強力なクロスフレーム対応を誘導し、モデル全体の3D認識信号を再構築する学習が示唆されている。 結果として、Imagine3D-LLMは、複数の空間的推論と3D理解ベンチマークにまたがる先行アプローチを一貫して上回り、シーンを想像することは、ピクセルワイドな幾何学よりも効果的であることが示唆された。

関連論文リスト

• Cog3DMap: Multi-View Vision-Language Reasoning with 3D Cognitive Maps [77.63233146945718]
  マルチビュー画像から明示的な3Dメモリを連続的に構築するフレームワークであるCog3DMapを紹介する。 本フレームワークは空間的に構造化された3次元マップ上での直接推論を可能にし,様々な空間推論ベンチマーク上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2026-03-24T10:05:32Z)
• GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
  このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。 既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。 本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
  論文  参考訳（メタデータ） (2026-03-17T12:43:48Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Unified Scene Representation and Reconstruction for 3D Large Language Models [40.693839066536505]
  既存のアプローチは、基底真理(GT)幾何または補助モデルによって再構成された3次元シーンから点雲を抽出する。 凍結した2次元基礎モデルを用いて、Uni3DR2の3次元幾何学的および意味的認識表現特徴を抽出する。 我々の学習した3D表現は、再構築プロセスに貢献するだけでなく、LLMにとって貴重な知識も提供します。
  論文  参考訳（メタデータ） (2024-04-19T17:58:04Z)
• FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
  基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。 結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。 本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
  論文  参考訳（メタデータ） (2024-01-03T20:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。