論文の概要: SpaceMCP: Vision Language Model Spatial Reasoning via Model Context Protocol
- arxiv url: http://arxiv.org/abs/2611.15680v1
- Date: Wed, 11 Nov 2026 16:21:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.194674
- Title: SpaceMCP: Vision Language Model Spatial Reasoning via Model Context Protocol
- Title(参考訳): SpaceMCP:モデルコンテキストプロトコルによる視覚言語モデル空間推論
- Abstract要約: 視覚言語モデル(VLM)は、空間推論能力に制限がある。
フィードフォワード3次元再構成の最近の進歩は、視覚入力から正確な、リアルタイムな幾何学的理解を可能にしている。
本研究では,空間推論のためのMPPスタイルのパラダイムを導入するために,これらの進歩を活用するフレームワークであるSpaceMCPを提案する。
- 参考スコア(独自算出の注目度): 8.745444691797067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite impressive advances in large language models (LLM), vision-language models (VLM) still exhibit limited spatial reasoning capabilities. Recent progress in feed-forward 3D reconstruction has enabled precise, real-time geometric understanding from visual inputs. In this work, we propose SpaceMCP, a framework that leverages these advances to introduce an MCP-style paradigm for spatial reasoning. Our approach augments a VLM with structured function calls, allowing it to query a scene graph for spatial information such as distances, object positioning, and camera properties. The scene graph is constructed in real time using feed-forward 3D reconstruction to recover metric geometry, combined with open-vocabulary segmentation to identify and localize relevant objects within the scene. Paired with the VLM's strong reasoning capabilities, the VLM is able to combine this primitive information to solve more complex spatial tasks. Without any training, SpaceMCP achieves state-of-the-art results on VSI-Bench, MMSI-Bench and VSTI-Bench, outperforming recent spatially post-trained VLMs and improving its base VLM by 15-22 points per benchmark. We argue that, given the contrast between the relatively slow progress in native VLM spatial reasoning and the rapid advances in feed-forward 3D computer vision, this paradigm offers a promising path forward for enabling robust spatial reasoning.
- Abstract(参考訳): 大型言語モデル (LLM) の顕著な進歩にもかかわらず、視覚言語モデル (VLM) は空間推論能力に限界がある。
フィードフォワード3次元再構成の最近の進歩は、視覚入力から正確な、リアルタイムな幾何学的理解を可能にしている。
本研究では,これらの進歩を生かしたSpaceMCPを提案し,空間推論のためのMPP型パラダイムを提案する。
提案手法は,VLMを構造化関数呼び出しで拡張することにより,距離や物体位置,カメラ特性などの空間情報に対して,シーングラフをクエリすることができる。
シーングラフは、フィードフォワード3次元再構成を用いてリアルタイムに構築され、メトリ幾何を復元し、オープン語彙セグメンテーションと組み合わせてシーン内の関連オブジェクトを特定し、ローカライズする。
VLMの強力な推論能力によって、VLMはより複雑な空間的タスクを解決するために、この原始的な情報を組み合わせることができる。
トレーニングなしでは、SpaceMCPはVSI-Bench、MMSI-Bench、VSTI-Benchの最先端の成果を達成し、最近の空間的に訓練されたVLMを上回り、1ベンチマークあたりのベースVLMを15-22ポイント改善した。
我々は、VLM空間推論の比較的遅い進歩とフィードフォワード3次元コンピュータビジョンの急速な進歩との対比から、このパラダイムが堅牢な空間推論を実現するための有望な道筋を提供すると論じている。
関連論文リスト
- Reasmory: 3D Reconstruction as Explicit Memory for VLMs Spatial Reasoning [43.950190960277865]
VLM(Vision-Language Models)は、空間的推論能力の出現を示すが、正確な空間的理解を必要とするタスクには信頼できない。
再構成空間メモリ上での構造化プログラム実行として空間推論を定式化するフレームワークであるtextbfReasmoryを提案する。
Reasmoryは明示的な3Dメモリを構築し、セマンティックな3Dオブジェクトインスタンスで拡張し、軽量なDomain-Specific Languageを導入している。
論文 参考訳(メタデータ) (2026-05-31T02:36:57Z) - SIMS-V: Simulated Instruction-Tuning for Spatial Video Understanding [64.86119288520419]
マルチモーダル言語モデルは時間と空間の空間的推論に苦しむ。
SIMS-Vは3次元シミュレータの特権情報を利用するシステムデータ生成フレームワークである。
提案手法は,実世界の空間的タスクの具体的改善を図りながら,一般的な映像理解の性能を維持しながら,堅牢な一般化を実証する。
論文 参考訳(メタデータ) (2025-11-06T18:53:31Z) - Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。
我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。
コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
論文 参考訳(メタデータ) (2025-05-29T17:59:04Z) - VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。
VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
論文 参考訳(メタデータ) (2025-05-26T17:56:30Z) - Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。
我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。
その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
論文 参考訳(メタデータ) (2025-05-26T15:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。