論文の概要: What Do Visual-Head Discovery Scores Actually Find? Attention Source, Necessity, and Random-Control Pitfalls in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.13111v1
• Date: Fri, 09 Oct 2026 07:06:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.443853
• Title: What Do Visual-Head Discovery Scores Actually Find? Attention Source, Necessity, and Random-Control Pitfalls in Vision-Language Models
• Title（参考訳）: 視覚-頭部発見スコアは実際に何を見つけるか?視覚-言語モデルにおける注意源、必要、およびランダム-制御の落とし穴
• Abstract要約: このような発見スコア内の選択はどのようにして、それが返される頭部を形作るのか、そして2つの検証のうちどれがそれらを識別するかを問う。 Qwen3-VL-8B-Instructでは、クエリタイプ、発見コーパス、注意が2 x 3 x 2の設計で読み込まれるトークン位置が異なります。 発見されたヘッドセットは、その階層化されたランダムセット(ランク p >= 0.14)よりも優れており、同じまたは任意の層から引き出されたランダムセットは、検出されたセットのスコアにまたがる。
• 参考スコア（独自算出の注目度）: 4.406558799768986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention heads that attend to image regions relevant to a question are increasingly used to steer, ground and interpret vision-language models (VLMs) and to reduce their hallucinations. They are mostly found by ranking heads with an attention- pattern score and validated by steering or masking them. We ask how the choices inside such a discovery score shape the heads it returns, and which of the two validations identifies them. On Qwen3-VL-8B-Instruct we vary the query type, the discovery corpus and the token positions whose attention is read (the attention source) in a full 2 x 3 x 2 design, and test all 12 head-sets for steerability (CERS: Contrastive Evidence-Region Steering score) and necessity (NCS: Necessity Con- trast Score) against layer-matched random head-sets. (1) The attention source and the query type reshape the selected heads far more than the corpus: changing the source keeps a median of 49 of the top-100 heads, the query 55 and the cor- pus 84, while two halves of the same data share 96-99. (2) Necessity follows the attention source: head-sets discovered from query-span attention are more nec- essary than last-token ones (difference 0.083, p=6 x 10^-10), and the two re- ferring + query-span sets lie 17-19 standard deviations above 250 layer-matched random sets (Holm-adjusted p=0.048). The referring + query-span effect re- plicates on several recent VLMs. (3) Steerability is not specific to the discovered heads: no discovered head-set steers better than its layer-matched random sets (rank p >= 0.14), and random sets drawn from the same or from any layer span the discovered sets' scores. Necessity therefore separates the discovery settings, while steering at this strength does not. We turn these findings into a protocol for reporting visual-head discoveries.
• Abstract（参考訳）: 問題に関連する画像領域に係わる注意頭は、視覚言語モデル(VLM)を操り、接地し、解釈し、幻覚を減らすためにますます使用される。 主にアテンション・パターンのスコアでランク付けされ、ステアリングやマスキングによって検証される。 このような発見スコア内の選択はどのようにして、それが返される頭部を形作るのか、そして2つの検証のうちどれがそれらを識別するかを問う。 Qwen3-VL-8B-Instructでは、全2 x 3 x 2の設計で注目されるクエリタイプ、発見コーパス、トークン位置(注意源)が異なり、階層整合ランダムなヘッドセットに対して、ステアビリティのための12のヘッドセット(CERS: Contrastive Evidence-Region Steering score)と必要(NCS: Necessity Con-Trst Score)をテストする。 1)注目源とクエリタイプは、選択したヘッドをコーパスよりもはるかに大きく再形成し、ソースを変更すると、トップ100ヘッドの49、クエリ55とコーパス84の中央値を保持し、同じデータ共有96〜99の2つのハーフを保持する。 2) クエリスパンの注意から発見されたヘッドセットは、ラストトケンのもの(差 0.083, p=6 x 10^-10)よりもネック・エスサリーであり、2つのre-ferng + query-span セットは、250層対応のランダムなセット(ホルム調整された p=0.048)よりも17-19の標準偏差にある。 参照+クエリスパン効果は、いくつかの最近のVLMに再適用される。 (3) ステアビリティは、発見された頭部に特有ではない: 発見されたヘッドセットステアは、その層が整合したランダム集合 (rank p >= 0.14) よりも良く、同じまたは任意の層から引き出されたランダム集合は、発見された集合のスコアにまたがる。 したがって、必要は発見設定を分離するが、この強度で操ることはできない。 これらの知見を,視覚的頭部発見を報告するためのプロトコルに変換する。

関連論文リスト

• Finding the Heads and the Neurons Responsible for Network Information Retrieval in Language Models [3.920775551408145]
  特定のネットワーク情報エンティティに対する因果的ヘッドフィニングは、モデルとアーキテクチャにわたって機能する。 頭責任は、相関のみによってではなく、因果的に検証することができる。
  論文  参考訳（メタデータ） (2026-10-06T11:51:03Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads [19.588124754970142]
  我々は,OV回路出力の投射によって各頭部を解答不能な方向に向けてスコアする書き込み認識検出器であるLogit-Contribution Scoring(LOCOS)を紹介する。 NoLiMaノンリテラル検索ベンチマークの上位LOCOSヘッドを平均で比較すると、3つのモデルファミリーでROUGE-Lは従来の注意に基づく検出よりも低いカウントで崩壊する。
  論文  参考訳（メタデータ） (2026-07-01T14:41:07Z)
• Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian [0.0]
  再建された信号は、すでに注目ヘッドの小さなサブセットに集中していることを示す。 CAMEOスプリットでは、選択も評価データモデルも、暗黙的に記憶されていない。 いずれの手法も、散布前のZhang数からリーククリーン数へ30～36ポイント減少し、事前学習前のかなりの重複と一致している。
  論文  参考訳（メタデータ） (2026-06-20T04:35:51Z)
• Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families [0.0]
  検索ヘッダは、以前のコンテキストから現在の位置への情報をコピーする。 回転位置埋め込みは、ベースハイパーパラメータテータで減衰することで、クエリとキーを回転させる。 マルチヘッドとグループドクリーアテンションにまたがる4つのオープンウェイト7-8Bモデルと100倍の範囲のテータを試験した。
  論文  参考訳（メタデータ） (2026-06-19T09:23:59Z)
• Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models [68.48918176385105]
  本稿では,質問トークンからテキストや視覚的証拠への注目を収集するマルチモーダル検索ヘッド検出手法を提案する。 マルチモーダル検索ヘッドはスパースであり,本質的であり,因果的に重要であることを示す。 これらの頭部は、視覚的にリッチな文書のランク付けに利用することもできる。
  論文  参考訳（メタデータ） (2026-05-26T16:24:29Z)
• Identifying and Evaluating Inactive Heads in Pretrained LLMs [74.93559410792646]
  本研究では,頭部の不活性度を計測する13のスコア関数の分類法を提案する。 平均して12%以上の注意頭は活動せず、特定の文脈で改善することができる。 スコア分布を測定することで、注意行動に対する洞察が得られることを示す。
  論文  参考訳（メタデータ） (2025-04-04T19:28:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。