論文の概要: The Dual Mechanisms of Spatial Reasoning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.22278v1
• Date: Mon, 23 Mar 2026 17:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.834779
• Title: The Dual Mechanisms of Spatial Reasoning in Vision-Language Models
• Title（参考訳）: 視覚・言語モデルにおける空間推論の二重メカニズム
• Authors: Kelly Cui, Nikhil Prakash, Ayush Raina, David Bau, Antonio Torralba, Tamar Rott Shaham,
• Abstract要約: マルチモーダルタスクは、オブジェクトとその特性と空間的関係を関連付けるために視覚言語モデル(VLM)を必要とする。 本稿では,VLMが2つの同時的機構に依存していることを示す。 本研究では,全画像トークンの空間的表現を世界規模で拡張することで,自然画像の空間的推論性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 38.440901436153716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many multimodal tasks, such as image captioning and visual question answering, require vision-language models (VLMs) to associate objects with their properties and spatial relations. Yet it remains unclear where and how such associations are computed within VLMs. In this work, we show that VLMs rely on two concurrent mechanisms to represent such associations. In the language model backbone, intermediate layers represent content-independent spatial relations on top of visual tokens corresponding to objects. However, this mechanism plays only a secondary role in shaping model predictions. Instead, the dominant source of spatial information originates in the vision encoder, whose representations encode the layout of objects and are directly exploited by the language model backbone. Notably, this spatial signal is distributed globally across visual tokens, extending beyond object regions into surrounding background areas. We show that enhancing these vision-derived spatial representations globally across all image tokens improves spatial reasoning performance on naturalistic images. Together, our results clarify how spatial association is computed within VLMs and highlight the central role of vision encoders in enabling spatial reasoning.
• Abstract（参考訳）: 画像キャプションや視覚的質問応答のような多くのマルチモーダルタスクは、オブジェクトとその特性と空間的関係を関連付けるために視覚言語モデル(VLM)を必要とする。 しかし、これらの関連がVLM内でどのように計算されるかは、まだ不明である。 本稿では,VLMがこのような関係を表現するために2つの同時メカニズムに依存していることを示す。 言語モデルバックボーンでは、中間層はオブジェクトに対応する視覚トークンの上に、コンテンツに依存しない空間関係を表す。 しかし、このメカニズムはモデル予測を形作る上でのみ二次的な役割を果たす。 視覚エンコーダはオブジェクトのレイアウトをエンコードし、言語モデルのバックボーンによって直接利用される。 特に、この空間信号は、オブジェクト領域を越えて周囲の背景領域に広がる、視覚トークンで世界中に分布する。 これらの視覚的空間表現を全画像トークンでグローバルに拡張することで、自然主義的画像における空間推論性能が向上することを示す。 その結果,空間的関係がVLM内でどのように計算されるかを明らかにし,空間的推論を実現する上での視覚エンコーダの役割を強調した。

関連論文リスト

• TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
  Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T13:28:07Z)
• Thinking with Blueprints: Assisting Vision-Language Models in Spatial Reasoning via Structured Object Representation [52.605647992080485]
  空間的推論は視覚的知覚から意味的理解へと視覚言語モデルを前進させる。 物体中心の青写真という認知概念を空間的推論に統合する。 我々の手法は既存の視覚言語モデルより一貫して優れている。
  論文  参考訳（メタデータ） (2026-01-05T10:38:26Z)
• Attention Guided Alignment in Efficient Vision-Language Models [56.20286899428444]
  VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。 本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。 本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
  論文  参考訳（メタデータ） (2025-11-21T21:36:48Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• Scale-wise Bidirectional Alignment Network for Referring Remote Sensing Image Segmentation [12.893224628061516]
  リモートセンシング画像セグメンテーション(RRSIS)の目的は、自然言語表現を用いて、空中画像内の特定のピクセルレベル領域を抽出することである。 本稿では,これらの課題に対処するため,SBANet(Scale-wise Bidirectional Alignment Network)と呼ばれる革新的なフレームワークを提案する。 提案手法は,RRSIS-DとRefSegRSのデータセットにおける従来の最先端手法と比較して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-01-01T14:24:04Z)
• REVISION: Rendering Tools Enable Spatial Fidelity in Vision-Language Models [67.55362046790512]
  視覚言語モデルには、空間的関係を正しく推論する能力がない。 視覚言語モデルにおける空間忠実度を改善するREVISIONフレームワークを開発した。 本研究の結果から,レンダリングベースのフレームワークは空間認識モデルの開発に有効な手法であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-05T04:51:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。