論文の概要: Grounding Isn't Knowing: Do VLMs Need Object Localization for Spatial Reasoning?

• arxiv url: http://arxiv.org/abs/2608.23074v1
• Date: Mon, 24 Aug 2026 10:26:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.021185
• Title: Grounding Isn't Knowing: Do VLMs Need Object Localization for Spatial Reasoning?
• Title（参考訳）: グラウンドティングは知らない:VLMは空間的推論に物体位置決めを必要とするか?
• Abstract要約: 視覚言語モデル(VLM)は空間的疑問に答えることができるが、物体の接地と空間的推論を結びつけるメカニズムは理解されていない。 本研究では,LLaVA-1.5とQwen2.5-VLの2つの代表的なモデルファミリについて,機械的解釈可能性ツール群を用いて検討する。 空間的関係予測は、厳密なバウンディングボックス境界を必要とせず、オブジェクト整列トークンが粗いターゲット参照アンカーを確立する段階的なグラウンド・ツー・レゾン化プロセスに従う。
• 参考スコア（独自算出の注目度）: 24.02857259963021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) can answer spatial questions, yet the mechanisms connecting object grounding to spatial reasoning remain poorly understood. It is underexplored whether spatial reasoning internally requires precise objects localization, or can bypass explicit localization through global layout cues. In this work, we investigate two representative model families, LLaVA-1.5 and Qwen2.5-VL, using a suite of mechanistic interpretability tools, including token ablation, layer-wise probing, attention knockout, and causal mediation analysis. We find that spatial relation prediction follows a staged grounding-to-reasoning process in which object-aligned tokens establish coarse target-reference anchors, while precise bounding-box boundaries are not required. Positional information becomes decodable before relation decisions emerge, and a small set of attention heads mediates the causal effects of both localization and spatial reasoning. The two tasks share early grounding-related processing but ultimately rely on partially distinct specialized pathways. Through rigorous experiments, we provide a token-, layer-, and head-level account of how VLMs transform object grounding into spatial relations, showing that knowing where objects are is not equivalent to knowing how they relate.
• Abstract（参考訳）: 視覚言語モデル(VLM)は空間的疑問に答えることができるが、物体の接地と空間的推論を結びつけるメカニズムは理解されていない。 空間的推論が内部的に正確なオブジェクトの局所化を必要とするのか、それともグローバルなレイアウトの手がかりを通して明示的な位置化を回避できるのかは、未解明である。 本研究では, LLaVA-1.5 と Qwen2.5-VL の2つの代表的なモデルファミリについて, トークンアブレーション, 層幅探索, 注意ノックアウト, 因果媒介分析などの機械的解釈性解析ツールを用いて検討する。 空間的関係予測は、厳密なバウンディングボックス境界を必要とせず、オブジェクト整列トークンが粗いターゲット参照アンカーを確立する段階的なグラウンド・ツー・レゾン化プロセスに従う。 位置情報は関係決定が現れる前に復位可能となり、小さな注意点が局所化と空間的推論の両方の因果効果を媒介する。 2つのタスクは初期接地関連処理を共有するが、最終的には部分的に異なる特別な経路に依存している。 厳密な実験を通じて、VLMがオブジェクトを空間的関係に変換する方法のトークン、レイヤー、ヘッドレベルの説明を提供し、オブジェクトがどこにあるかを知ることは、それらの関係を知ることと等価ではないことを示す。

関連論文リスト

• S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence [77.5121349100339]
  textscS-Agentは空間的知覚をフレーム中心の認識を超えたシーン中心の理解に再認識する。 textscS-Agentは、VLMをセマンティックプランナーとしてキャストし、必要な証拠を決定する。 textscS-Agentは、トレーニングのない方法で、オープンソースとクローズドソース両方のVLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-18T17:34:55Z)
• Mechanisms of Object Localization in Vision-Language Models [10.367669666212473]
  視覚的言語モデル(VLM)におけるオブジェクトローカライゼーションを支援するプロセスについて検討する。 局所化は、オブジェクトの空間的範囲を定義するオブジェクト整列トークンのコンテナ化機構によって駆動される。 ごくわずかな注意のみ、分類と局所化の両方に因果効果を媒介する。
  論文  参考訳（メタデータ） (2026-05-19T12:56:32Z)
• Thinking with Blueprints: Assisting Vision-Language Models in Spatial Reasoning via Structured Object Representation [52.605647992080485]
  空間的推論は視覚的知覚から意味的理解へと視覚言語モデルを前進させる。 物体中心の青写真という認知概念を空間的推論に統合する。 我々の手法は既存の視覚言語モデルより一貫して優れている。
  論文  参考訳（メタデータ） (2026-01-05T10:38:26Z)
• Spatial Reasoning in Foundation Models: Benchmarking Object-Centric Spatial Understanding [8.202861909913791]
  基礎モデルにおけるオブジェクト中心空間推論のベンチマークを示す。 グラウンディングディーノやOWLv2のような検出器は、リレーショナル推論に制限のある正確なボックスを提供する。 本研究は,地域化と真の空間理解のギャップを強調し,地域社会における空間認識基盤モデルの必要性を指摘する。
  論文  参考訳（メタデータ） (2025-09-26T06:06:19Z)
• FloorplanQA: A Benchmark for Spatial Reasoning in LLMs using Structured Representations [78.65988445433844]
  FloorplanQAは、大規模言語モデルにおける空間的推論を評価するための診断ベンチマークである。 このベンチマークでは、距離測定、可視性、経路探索、制約空間内のオブジェクト配置など、中核的な空間的タスクをカバーしている。
  論文  参考訳（メタデータ） (2025-07-10T11:16:48Z)
• Can LLMs Learn to Map the World from Local Descriptions? [50.490593949836146]
  本研究では,Large Language Models (LLMs) がコヒーレントなグローバル空間認識を構築できるかどうかを検討する。 都市環境を模擬した実験により, LLMは実空間分布に一致した潜在表現を示すことを示した。
  論文  参考訳（メタデータ） (2025-05-27T08:22:58Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
  機械的解釈可能性のレンズによる空間的推論の課題について検討する。 空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。 本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
  論文  参考訳（メタデータ） (2025-03-03T17:57:03Z)
• Weakly Supervised Relative Spatial Reasoning for Visual Question Answering [38.05223339919346]
  我々は,V&Lモデルの忠実度をこのような幾何学的理解に向けて評価する。 我々は、市販の深度推定器から弱い監督でV&Lを訓練する。 これにより、"GQA"視覚的質問応答チャレンジの精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-09-04T21:29:06Z)
• SIRI: Spatial Relation Induced Network For Spatial Description Resolution [64.38872296406211]
  言語誘導型ローカライゼーションのための新しい関係誘導型ネットワーク(SIRI)を提案する。 提案手法は,80ピクセルの半径で測定した精度で,最先端手法よりも約24%優れていた。 提案手法は,Touchdownと同じ設定で収集した拡張データセットをうまく一般化する。
  論文  参考訳（メタデータ） (2020-10-27T14:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。