論文の概要: Retrieval Heads Meet Vision: Uncovering How VLMs Locate and Extract Visual Information

• arxiv url: http://arxiv.org/abs/2608.27417v1
• Date: Thu, 27 Aug 2026 17:43:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.515232
• Title: Retrieval Heads Meet Vision: Uncovering How VLMs Locate and Extract Visual Information
• Title（参考訳）: VLMで視覚情報を抽出する「Retrieval Heads Meet Vision」
• Abstract要約: 視覚言語モデル(VLM)は、テキストプロンプトによって参照される画像領域を特定し、対応する視覚的証拠を出力にルーティングすることができる。 視覚検索ヘッド(VRHs)は,画像領域へのテキスト記述のグラウンディングに因果的に責任を負う,注目ヘッドの小さなサブセットである。 提案手法は, 提案手法を用いて, 提案手法を用いて, 出力予測トークンから注目点を抽出し, 因果頭部を確実に同定するものであることを示す。
• 参考スコア（独自算出の注目度）: 41.72898733384826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) can locate an image region referred to by a text prompt and route the corresponding visual evidence to the output, yet the internal mechanism behind this behavior is not understood. Inspired by retrieval heads in large language models, we ask whether VLMs contain an analogous mechanism for visual retrieval. We answer affirmatively by introducing Visual Retrieval Heads (VRHs), a small subset of attention heads (about 1.7-2.6%) that are causally responsible for grounding text descriptions to image regions. To find them, we recast existing head-scoring methods under a unified design space over query tokens, key aggregation, and cross-sample aggregation. We then show that scoring attention from output prediction tokens with a sum over the ground-truth referent region most reliably identifies causal heads. Across eleven VLMs and five referring-expression benchmarks, masking only the top 20 VRHs reduces grounding accuracy by up to 80 percentage points, while masking the same number of random heads has little effect. Beyond replicating the causal-sparse-universal triad established for text retrieval heads, VRHs exhibit several properties not previously reported: they generalize across visual reference tasks, remaining causal on attribute, spatial, counting, and visual-math benchmarks despite being discovered through bounding-box prediction; they are functionally specific, preserving output format while corrupting localization; and they are architecturally shared, transferring causally across VLMs that share an LLM backbone but differ in vision encoder, projector, and instruction tuning.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、テキストプロンプトによって参照される画像領域を特定し、対応する視覚的証拠を出力にルーティングするが、その動作の背後にある内部メカニズムは理解されていない。 大規模言語モデルにおける検索ヘッドにインスパイアされたVLMには、視覚的検索に類似したメカニズムがあるかどうかを問う。 視覚検索ヘッド(VRHs)は,画像領域へのテキスト記述の根拠付けに因果的に責任を負う,注目ヘッドの小さなサブセット(約1.7-2.6%)である。 それらを見つけるために、クエリトークン、キーアグリゲーション、およびクロスサンプルアグリゲーションに対して、統一設計空間下で既存のヘッドスコーリング手法をリキャストする。 そこで,本論文では,提案手法を用いて提案手法を用いて,実測値と実測値の合計値から注目点を抽出し,因果的頭部を確実に同定することを示した。 11個のVLMと5つの参照圧縮ベンチマークで、上位20個のVRHだけをマスクすると、接地精度が最大80パーセント低下する一方、同じ数のランダムヘッドをマスクすることは効果がほとんどない。 テキスト検索ヘッドのために確立された因果・スパース・ユニバーサル・トライアドを複製する以外に、VRHは以前に報告されていないいくつかの特性を示す: 視覚参照タスクを一般化し、属性、空間、カウント、およびビジュアルマスのベンチマークに因果関係を保ちながら、バウンディングボックスの予測によって発見され、機能的に特異であり、ローカライゼーションを腐敗させながら出力フォーマットを保存し、アーキテクチャ的に共有され、LLMバックボーンを共有するが、ビジョンエンコーダ、プロジェクタ、インストラクションチューニングが異なる。

関連論文リスト

• UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
  LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
  論文  参考訳（メタデータ） (2026-08-11T12:01:59Z)
• UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery [69.87589293875112]
  無人航空機(UAV)は、タスク関連ターゲットのローカライズに視覚的な接地機能に依存している。 既存の参照式理解ベンチマークとメソッドは、主にテキストのみのクエリと単一オブジェクトの出力に基づいて構築されている。 本稿では,一般的なUAV参照タスクであるemphUniversal Referringを導入する。
  論文  参考訳（メタデータ） (2026-07-09T09:09:31Z)
• Interpretable Zero-shot Referring Expression Comprehension with Query-driven Scene Graphs [18.414159451507153]
  ゼロショット参照式理解(REC)は、自然言語クエリが与えられた画像中の対象物を特定することを目的としている。 既存のビジョンランゲージモデル(VLM)は、テキストクエリと画像領域の特徴的類似性を測定することで、ゼロショットRECに対処する。 我々は、クエリ駆動のシーングラフを構造化中間体として活用した、解釈可能なゼロショットREC法である textbfSGREC を提案する。
  論文  参考訳（メタデータ） (2026-03-26T04:05:30Z)
• Visual Self-Refine: A Pixel-Guided Paradigm for Accurate Chart Parsing [76.2602505940467]
  既存のモデルは、しばしば視覚的に密集したチャートに苦しむため、データの欠落、修正ミス、幻覚などのエラーにつながる。 複雑なチャートを読む際の精度を確保するために指を視覚アンカーとして使うという人間の戦略に触発され、視覚自己認識(VSR)と呼ばれる新しいパラダイムを提案する。 VSRの中核となる考え方は、モデルがピクセルレベルのローカライゼーション出力を生成し、それらを視覚化し、それらの視覚化を自身にフィードバックし、直感的にその潜在的な視覚的認識エラーを検査し修正できるようにすることである。
  論文  参考訳（メタデータ） (2026-02-18T13:40:53Z)
• IVC-Prune: Revealing the Implicit Visual Coordinates in LVLMs for Vision Token Pruning [27.75049214892312]
  LVLM(Large Vision-Language Models)は、複数のタスクにまたがる優れたパフォーマンスを実現する。 しかし、重要な課題は、高解像度の視覚入力を処理する際に、その禁止的な推論コストである。 IVCトークンと意味論的に関連するフォアグラウンドトークンの両方を保持するトレーニングフリーで、プロンプト対応のプルーニング戦略である textbfIVC-Prune を提案する。
  論文  参考訳（メタデータ） (2026-02-03T03:39:31Z)
• SparseMM: Head Sparsity Emerges from Visual Concept Responses in MLLMs [74.2538340966038]
  マルチモーダル言語モデル(MLLM)が視覚入力をどのように処理するかを,その注意機構を解析して検討する。 LLMにおける注目のごく一部だけが視覚的理解に有効である。 我々は,KVキャッシュ最適化手法であるSparseMMを導入し,その視覚的スコアに基づいて非対称な計算予算をLLMの先頭に割り当てる。
  論文  参考訳（メタデータ） (2025-06-05T17:59:55Z)
• Expand VSR Benchmark for VLLM to Expertize in Spatial Rules [11.320245739677826]
  視覚的空間推論は人間の認知の基本的な部分であり、クロスインスタンスの微妙な認識を必要とする。 視覚的位置推論に特化した視覚大言語モデル(VLLM)には、十分な量と品質評価と最適化データセットが不足している。 現状のVLLMでは,言語命令に対する過敏性や視覚的位置情報に対する過敏性の矛盾がみられた。 我々の知る限り、拡散モデルを用いて空間的に位置決めされた画像データを協調的に拡張し、元のビジュアルエンコーディングを統合した。
  論文  参考訳（メタデータ） (2024-12-24T07:13:17Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Zero-shot Visual Relation Detection via Composite Visual Cues from Large Language Models [44.60439935450292]
  本稿では,ゼロショット視覚認識のための新しい手法であるRECODEを提案する。 各述語カテゴリを主題、対象、空間構成要素に分解する。 異なる視覚的手がかりは、異なる視点から類似した関係カテゴリの識別可能性を高める。
  論文  参考訳（メタデータ） (2023-05-21T14:40:48Z)
• Visual Spatial Reasoning [35.5155400193075]
  66種類の空間的関係を持つ10k以上の自然なテキストイメージ対を含むデータセットを英語で提示する。 このデータセットは,参照フレームの変動など,難易度の高い言語現象を含むことを示す。 人間の天井は95%以上であり、最先端モデルは70%程度しか達成できない。
  論文  参考訳（メタデータ） (2022-04-30T23:03:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。