論文の概要: GraFT: A Training-Free Framework for Spatial Reasoning in Multimodal Large Language Models via 3D Scene Graphs
- arxiv url: http://arxiv.org/abs/2609.03892v1
- Date: Thu, 03 Sep 2026 14:11:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.100591
- Title: GraFT: A Training-Free Framework for Spatial Reasoning in Multimodal Large Language Models via 3D Scene Graphs
- Title（参考訳）: GraFT:3次元シーングラフを用いたマルチモーダル大言語モデルにおける空間推論のための学習自由フレームワーク
- Abstract要約: GraFTは、コンパクトでメンテナンスが容易な3Dシーングラフ(3DSG)を通して欠落した3D構造を提供する、トレーニング不要のフレームワークである。
GraFTはすべてのメトリクスを同じバックボーンベースラインで改善し、CIDErを27%引き上げる。
ScanQAでは、GraFTはすべてのメトリクスを同じバックボーンベースラインで改善し、CIDErを27%上昇させた。
- 参考スコア（独自算出の注目度）: 44.1490359705113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D spatial reasoning underpins understanding and acting in the physical world, yet it remains unreliable in current multimodal large language models (MLLMs). These models falter at precise geometric measurement, at transforming between egocentric and allocentric viewpoints, and at grounding fine-grained appearance. The most common remedies fine-tune the model on large-scale curated spatial-reasoning datasets or attach dedicated encoders for 3D geometry, which typically couples the solution to costly supervision and a specific backbone. We instead introduce GraFT, a training-free framework that supplies the missing 3D structure through a compact, easily maintained 3D scene graph (3DSG). From this 3DSG, GraFT provides three spatial reasoning capabilities: (1) deterministic geometry through symbolic tools, (2) allocentric layout through a bird's-eye-view (BEV) rendering, and (3) visual-attribute grounding through task-relevant egocentric frames. On ScanQA, GraFT improves every metric over the same-backbone baseline, raising CIDEr by 27%. On VSI-Bench, GraFT improves frozen MLLMs by up to 65%, surpassing every proprietary and general-purpose open-source baseline, and several prominent fine-tuned spatial models.
- Abstract（参考訳）: 3次元空間推論は物理世界における理解と行動の基盤となっているが、現在のマルチモーダル大言語モデル(MLLM)では信頼できない。
これらのモデルは、正確な幾何学的測定、自我中心の視点と同中心の視点の変換、そしてきめ細かい外観を基礎とする。
最も一般的な治療法は、大規模にキュレーションされた空間推論データセットのモデルを微調整したり、3D幾何学のための専用エンコーダを取り付けたりすることである。
代わりに、GraFTは、コンパクトでメンテナンスが容易な3Dシーングラフ(3DSG)を通して欠落した3D構造を提供する、トレーニング不要のフレームワークである。
この3DSGから、GraFTは、(1)記号ツールによる決定論的幾何学、(2)鳥の目視(BEV)レンダリングによるアロセントリックレイアウト、(3)タスク関連エゴセントリックフレームによる視覚属性グラウンドティングの3つの空間推論機能を提供する。
ScanQAでは、GraFTはすべてのメトリクスを同じバックボーンベースラインで改善し、CIDErを27%上昇させた。
VSI-Benchでは、GraFTは凍結MLLMを最大65%改善し、プロプライエタリで汎用的なオープンソースベースラインと、いくつかの顕著な微調整空間モデルをすべて上回っている。
関連論文リスト
- Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models [32.477423778941386]
純粋に2次元ビデオシーケンスを用いて幾何学的表現を学習するフレームワークであるGeoVRを提案する。
表面的特徴混合を採用するのではなく、GeoVRは幾何学的知識を蒸留することによってMLLMの内部表現に不満を抱く。
空間推論ベンチマークの実験は、GeoVRが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-06-04T08:11:12Z) - Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。
生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。
厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
論文 参考訳（メタデータ） (2026-04-01T06:12:16Z) - 3D-IDE: 3D Implicit Depth Emergent [45.72771473431863]
3D-Implicit Depth Emergenceは、幾何学的自己視覚から派生した創発的特性として3D知覚を再構成する手法である。
本手法により,高密度領域において3次元知覚が暗黙的に出現し,不連続な特徴を呈することができる。
提案手法は,様々な下流タスクにおいて高い性能を維持しつつ,推論遅延を55%削減する。
論文 参考訳（メタデータ） (2026-03-28T00:54:19Z) - Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding [50.098085774845195]
本稿では,大規模生成モデルにおいて暗黙の空間的先行性を活用することで,パラダイムシフトを提案する。
GeneEGA-3D (Video Extracted Generative Awareness) は,事前学習した映像拡散モデルを潜在世界シミュレータとして再利用するプラグイン・アンド・プレイ・フレームワークである。
論文 参考訳（メタデータ） (2026-03-19T17:59:58Z) - Think3D: Thinking with Space for Spatial Reasoning [54.518667686880114]
本稿では,視覚大モデル(VLM)を3次元空間で考えることを可能にするフレームワークであるThink3Dを紹介する。
追加のトレーニングがなければ、Think3Dは高度なモデルの空間推論性能を大幅に改善する。
本研究は,マルチモーダルエージェントのより柔軟で人間らしい3D推論への道筋として,無トレーニングでツールを付加した空間探索が有効であることを示す。
論文 参考訳（メタデータ） (2026-01-19T13:13:54Z) - FLEG: Feed-Forward Language Embedded Gaussian Splatting from Any Views [52.02871618456553]
FLEGは、言語に埋め込まれた3Dガウシアンをあらゆる視点から再構築するフィードフォワードネットワークである。
任意の非校正画像から2次元から3次元へのリフトのための3Dアノテーションのないトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-19T13:04:13Z) - TriCLIP-3D: A Unified Parameter-Efficient Framework for Tri-Modal 3D Visual Grounding based on CLIP [52.79100775328595]
3Dビジュアルグラウンドティングは、人間の指示に基づいて現実世界の3D環境における視覚情報を理解するための具体的エージェントである。
既存の3Dビジュアルグラウンド法は、異なるモダリティの異なるエンコーダに依存している。
本稿では,3つのモードすべてを処理するために,統合された2次元事前学習型マルチモーダルネットワークを提案する。
論文 参考訳（メタデータ） (2025-07-20T10:28:06Z) - 3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation [17.294440057314812]
VLM(Vision-Language Models)は様々な視覚的・言語的タスクにおいて顕著な性能を示した。
人為的な幾何学的手がかりを予め訓練されたVLMに注入するフレームワークであるGeometric Distillationを提案する。
本手法は、自然な画像テキスト入力と互換性を保ちながら、表現を幾何学的に認識するように形成する。
論文 参考訳（メタデータ） (2025-06-11T15:56:59Z) - From Thousands to Billions: 3D Visual Language Grounding via Render-Supervised Distillation from 2D VLMs [64.28181017898369]
LIFT-GSはポイントクラウドから3Dガウス表現を予測し、予測された言語条件の3Dマスクを2Dビューにレンダリングする。
LIFT-GSは、オープン語彙のインスタンスセグメンテーションで25.7%のmAPで最先端の結果を達成する。
注目すべきは、事前トレーニングがデータセットの微調整を2倍にし、強力なスケーリング特性を示すことだ。
論文 参考訳（メタデータ） (2025-02-27T18:59:11Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳（メタデータ） (2023-10-12T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。