論文の概要: Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas

• arxiv url: http://arxiv.org/abs/2503.01773v2
• Date: Tue, 04 Mar 2025 18:01:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 18:50:38.138814
• Title: Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas
• Title（参考訳）: VLMにとってなぜ空間共振は難しいのか : 焦点領域における注意機構の視点
• Authors: Shiqi Chen, Tongyao Zhu, Ruochen Zhou, Jinghan Zhang, Siyang Gao, Juan Carlos Niebles, Mor Geva, Junxian He, Jiajun Wu, Manling Li,
• Abstract要約: 機械的解釈可能性のレンズによる空間的推論の課題について検討する。 空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。 本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
• 参考スコア（独自算出の注目度）: 52.478956204238315
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Vision Language Models (VLMs) have long struggled with spatial reasoning tasks. Surprisingly, even simple spatial reasoning tasks, such as recognizing "under" or "behind" relationships between only two objects, pose significant challenges for current VLMs. In this work, we study the spatial reasoning challenge from the lens of mechanistic interpretability, diving into the model's internal states to examine the interactions between image and text tokens. By tracing attention distribution over the image through out intermediate layers, we observe that successful spatial reasoning correlates strongly with the model's ability to align its attention distribution with actual object locations, particularly differing between familiar and unfamiliar spatial relationships. Motivated by these findings, we propose ADAPTVIS based on inference-time confidence scores to sharpen the attention on highly relevant regions when confident, while smoothing and broadening the attention window to consider a wider context when confidence is lower. This training-free decoding method shows significant improvement (e.g., up to a 50 absolute point improvement) on spatial reasoning benchmarks such as WhatsUp and VSR with negligible cost. We make code and data publicly available for research purposes at https://github.com/shiqichen17/AdaptVis.
• Abstract（参考訳）: 大規模視覚言語モデル(VLM)は、空間的推論タスクに長年苦戦してきた。 驚くべきことに、二つの物体の間の「下」や「後ろ」の関係を認識するような単純な空間推論タスクでさえ、現在のVLMに重大な課題を生じさせる。 本研究では,機械的解釈可能性のレンズによる空間的推論の課題を考察し,モデルの内部状態に飛び込み,画像とテキストトークン間の相互作用を調べる。 画像上の注意分布を中間層を通して追跡することにより、空間的推論の成功は、その注意分布と実際の対象位置との整合性、特に親しみやすい空間的関係と不慣れな空間的関係とを強く関連付けることを観察する。 これらの結果から,信頼度が低い場合には注意窓の平滑化と拡充を図り,信頼度が低い場合にはより広い文脈を考慮しつつ,信頼度の高い地域への注意を喚起するための推測時間信頼度スコアに基づくADAPTVISを提案する。 この学習自由復号法は、WhatsUpやVSRなどの空間推論ベンチマークにおいて、無視できるコストで大幅な改善(50点まで)を示す。 コードとデータはhttps://github.com/shiqichen17/AdaptVis.comで公開しています。

関連論文リスト

• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [10.792834356227118]
  VLM(Vision-Language Models)は、オブジェクトの識別と記述が優れているが、空間的推論に苦慮している。 人間の視覚のデュアルパスウェイモデルに触発されて,強い物体認識能力にもかかわらず,VLMが空間的タスクに失敗する理由を考察した。
  論文  参考訳（メタデータ） (2025-03-21T17:51:14Z)
• Where Am I and What Will I See: An Auto-Regressive Model for Spatial Localization and View Prediction [60.964512894143475]
  本稿では,空間的局所化とビュー予測を共同で扱う新しい自動回帰フレームワークである生成空間変換器(GST)を提案する。 本モデルでは,カメラのポーズを1つの画像から同時に推定し,新しいカメラのポーズから視点を予測し,空間認識と視覚予測のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2024-10-24T17:58:05Z)
• Reasoning Paths with Reference Objects Elicit Quantitative Spatial Reasoning in Large Vision-Language Models [61.899791071654654]
  定量的空間的推論のために設計された5つのカテゴリに271の質問があるベンチマークQ-Spatial Benchを導入する。 本課題における最先端の視覚言語モデル(VLM)の性能について検討する。 本研究では,参照オブジェクトを視覚的手がかりとして,VLMが量的空間的疑問に答えることを奨励するゼロショットプロンプト技術であるSpatialPromptを開発した。
  論文  参考訳（メタデータ） (2024-09-15T16:45:42Z)
• GSR-BENCH: A Benchmark for Grounded Spatial Reasoning Evaluation via Multimodal LLMs [3.2688425993442696]
  画像中の物体間の空間的関係を理解する能力は、視覚的推論の重要な構成要素である。 我々は、以前リリースされたWhat'sUpデータセットを拡張し、空間関係理解のための新しい包括的評価を提案する。
  論文  参考訳（メタデータ） (2024-06-19T06:15:26Z)
• Improving Vision-and-Language Reasoning via Spatial Relations Modeling [30.477235227733928]
  ビジュアルコモンセンス推論(VCR)は、難しいマルチモーダルタスクである。 提案手法は,より空間的な文脈を維持するために表現を導くことができる。 VCRと他の2つの視覚・言語推論タスクであるVQAとNLVRについて、最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-09T11:54:55Z)
• Spotlight Attention: Robust Object-Centric Learning With a Spatial Locality Prior [88.9319150230121]
  オブジェクト中心のビジョンは、シーン内のオブジェクトの明示的な表現を構築することを目的としています。 我々は、空間的局所性を最先端のオブジェクト中心視覚モデルに組み込む。 合成および実世界の両方のデータセットにおけるセグメンテーションオブジェクトの大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-05-31T04:35:50Z)
• Visual Spatial Reasoning [35.5155400193075]
  66種類の空間的関係を持つ10k以上の自然なテキストイメージ対を含むデータセットを英語で提示する。 このデータセットは,参照フレームの変動など,難易度の高い言語現象を含むことを示す。 人間の天井は95%以上であり、最先端モデルは70%程度しか達成できない。
  論文  参考訳（メタデータ） (2022-04-30T23:03:49Z)
• Bi-directional Object-context Prioritization Learning for Saliency Ranking [60.62461793691836]
  既存のアプローチは、オブジェクトオブジェクトかオブジェクトシーンの関係を学ぶことに集中しています。 我々は,人間の視覚認識システムにおいて,空間的注意と物体に基づく注意が同時に機能することが観察された。 本稿では,空間的注意を統一する新たな双方向手法を提案する。
  論文  参考訳（メタデータ） (2022-03-17T16:16:03Z)
• Weakly Supervised Relative Spatial Reasoning for Visual Question Answering [38.05223339919346]
  我々は,V&Lモデルの忠実度をこのような幾何学的理解に向けて評価する。 我々は、市販の深度推定器から弱い監督でV&Lを訓練する。 これにより、"GQA"視覚的質問応答チャレンジの精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-09-04T21:29:06Z)
• Spatially Aware Multimodal Transformers for TextVQA [61.01618988620582]
  我々はTextVQAタスク、すなわち画像中のテキストを推論して質問に答えるタスクについて研究する。 既存のアプローチは空間関係の使用に限られている。 空間認識型自己注意層を提案する。
  論文  参考訳（メタデータ） (2020-07-23T17:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。