論文の概要: Attention Sinks in VLMs Are Borrowed, Not Seen

• arxiv url: http://arxiv.org/abs/2610.15855v2
• Date: Mon, 19 Oct 2026 14:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.271143
• Title: Attention Sinks in VLMs Are Borrowed, Not Seen
• Title（参考訳）: VLMの注意シンクはぼやけている
• Abstract要約: ビジュアルアテンションシンク(Visual attention sink)は、クエリやタスクに関わらず、画像上の大きな注意を吸収する画像トークンである。 画像トークンのキーと言語モデルのテキストシンクのキーとの間の中心的なコサイン類似性だけが、視覚的なシンクを検出する。 本稿では,まず注意マップをクリーニングし,次に最も注目された領域を抽出し,推論トレースに挿入する,トレーニングフリーでエントロピートリガー付きリルックを提案する。
• 参考スコア（独自算出の注目度）: 76.79123104039475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how to detect and mitigate visual attention sinks in vision-language models (VLMs). Visual attention sinks are image tokens that absorb a large share of attention over the image regardless of the query or task, and they mislead methods that treat attention maps as a record of where the model ``looked.'' Prior work has detected sinks through massive activation dimensions and proposed redistributing their attention, but none have addressed what makes a token become a sink. Comparing six candidate detectors on ten VLMs from four families, we find that only the centered cosine similarity between an image token's key and the key of the language model's text-sink detects visual sinks. Thus, a visual sink is an image token whose key aligns with the text-sink's key. Moving a sink's key component along this direction to the median of the image keys sends its attention back to the text-sink (\textbf{Are Borrowed}) while leaving model answers unchanged~(\textbf{Not Seen}). Building on this, we propose a training-free, entropy-triggered re-look that first cleans the attention map, then crops the most-attended region of the cleaned map and inserts it into the reasoning trace. Cleaning adds negligible computation to the forward pass, and the re-look improves accuracy with a mean gain of $+4.3$ points on fine-detail VQA benchmarks across model families.
• Abstract（参考訳）: 視覚言語モデル(VLM)における視覚的注意シンクの検出と緩和方法について検討する。 ビジュアルアテンションシンクは、クエリやタスクに関わらず、画像上の大きな注意を吸収するイメージトークンであり、モデルが‘展望’した場所の記録として、アテンションマップを扱うメソッドを誤解させる。 「」以前の作業では、大量のアクティベーションディメンションを通じてシンクを検出し、注意を再分配することを提案したが、トークンがシンクになる原因については触れられていない。 画像トークンのキーと言語モデルのテキストシンクのキーとの間の中心的なコサイン類似性のみが、視覚的シンクを検出する。 したがって、ビジュアルシンクは、キーがテキストシンクのキーと一致している画像トークンである。 この方向に沿ってシンクのキーコンポーネントをイメージキーの中央に移動すると、その注意はテキストシンク(\textbf{Are Borrowed})に返される。 そこで我々は,まずアテンションマップをクリーニングし,次に最も定着した領域を抽出し,推論トレースに挿入する,トレーニングフリーでエントロピートリガー付きリルックを提案する。 クリーニングはフォワードパスに無視可能な計算を追加し、モデルファミリ間での詳細なVQAベンチマークで平均4.3ドルのポイントで精度を向上する。

関連論文リスト

• Listening makes Vision Clear for VLMs [10.154962172624954]
  我々は、プロンプト側セマンティクスを採用し、Prompt-Vision Token Activation Map (PV-TAM)を提案する。 PV-TAMは、モダリティ境界マーカーによって誘導される系統的バイアスを取り除くフィルタを組み込んでいる。 さまざまなデータセットの回答側ベースラインよりも、アテンションベースとIoUスタイルのローカライゼーションメトリクスを一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-22T14:14:46Z)
• OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning [24.164883144694656]
  OccamTokenは、絶対トークンランキングを登録された相対的エビデンステストに置き換える、トレーニング不要のフレームワークである。 我々はOccamTokenが、追加のトレーニングなしで精度と効率のトレードオフを継続的に改善していることを示します。
  論文  参考訳（メタデータ） (2026-05-28T09:20:47Z)
• Focus-Scan-Refine: From Human Visual Perception to Efficient Visual Token Pruning [78.75062483648243]
  視覚言語モデル(VLM)は、しばしば大量の視覚トークンを生成し、推論遅延とメモリフットプリントを大幅に増加させる。 視覚的質問に対して人間がどのように答えるかを模倣する,人間にインスパイアされたプラグアンドプレイプルーニングフレームワークであるFSRを提案する。 FSRは、既存の最先端プルーニング法よりも精度と効率のトレードオフを一貫して改善する。
  論文  参考訳（メタデータ） (2026-02-05T16:02:48Z)
• Causal Attention with Lookahead Keys [52.63961482746826]
  標準的な因果的注意では、各トークンのクエリ、キー、値(QKV)は静的であり、先行するコンテキストのみをエンコードする。 本研究では,Lookahead kEys (CASTLE) を用いたCAuSal aTtentionを導入する。
  論文  参考訳（メタデータ） (2025-09-09T00:15:23Z)
• BlindSight: Harnessing Sparsity for Efficient VLMs [4.756688231351083]
  BlindSightは、入力テンプレート認識型注意空間マスクを用いてVLM推論を最適化するためのトレーニング不要なアプローチである。 BlindSightは、多くの評価されたマルチイメージ理解ベンチマークにおいて、オリジナルのモデルと比較して平均で32%-41%のFLOPを -2%-+2%の精度で削減する。
  論文  参考訳（メタデータ） (2025-07-11T23:15:30Z)
• ToSA: Token Selective Attention for Efficient Vision Transformers [50.13756218204456]
  ToSAはトークン選択型アテンションアプローチで、コンバータ層をスキップできるトークンだけでなく、参加する必要のあるトークンも識別できる。 ToSAは,ImageNet分類ベンチマークの精度を維持しながら,計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-06-13T05:17:21Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。