論文の概要: Back to the Question: Tracing Visual Distraction Through Text Tokens
- arxiv url: http://arxiv.org/abs/2611.15039v1
- Date: Wed, 11 Nov 2026 04:58:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.043508
- Title: Back to the Question: Tracing Visual Distraction Through Text Tokens
- Title(参考訳): テキストトークンによる視覚障害者の追跡
- Abstract要約: 視覚言語モデル(VLM)は、ターゲット画像に関する質問に注意を向けると、かなりの精度の損失を被る可能性がある。
モデルが関連画像を正しく識別した場合でも,トラクタが精度を低下させることを示す。
解の整合性正則化を導入し,不規則な解の分布を誘導する。
- 参考スコア(独自算出の注目度): 16.614805467422837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The visual world is cluttered: robust vision-language reasoning requires ignoring irrelevant information. Yet vision-language models (VLMs) can suffer substantial accuracy losses when answering questions about a target image with distractors present. Existing mitigations focus on selecting relevant images or limiting information exchange between images. Through a systematic analysis of three open 7-8B VLMs on five perception benchmarks adapted to include distractor images, we show that distractors reduce accuracy even when models correctly identify the relevant image, suggesting that selection alone is not enough. To understand the mechanism behind this interference, we combine attention analysis with targeted knockouts in Qwen2.5-VL and identify middle-layer distractor-to-text connections as a pathway through which irrelevant visual information affects reasoning. We introduce answer consistency regularization, which encourages consistent answer distributions with and without distractors. Without directly constraining attention, this objective reduces middle-layer attention from question tokens to distractor images, consistent with the pathway our analysis implicates. With five distractors, our approach improves circular accuracy by an average of 16 percentage points over the Qwen2.5-VL baseline across the five benchmarks while preserving single-image performance.
- Abstract(参考訳): 堅牢な視覚言語推論は、無関係な情報を無視する必要がある。
しかし、視覚言語モデル(VLM)は、ターゲット画像に関する問題に注意を向けると、かなりの精度の損失を被る可能性がある。
既存の緩和策は、関連する画像の選択や、画像間の情報交換の制限に重点を置いている。
イントラクタ画像を含む5つの知覚ベンチマークにおいて, 3つのオープン7-8B VLMの系統的解析により, モデルが関連画像を正しく識別した場合でも, イントラクタは精度を低下させ, 選択だけでは不十分であることが示唆された。
この干渉の背後にあるメカニズムを理解するため、注意分析とQwen2.5-VLの目標ノックアウトを組み合わせ、無関係な視覚情報が推論に影響を及ぼす経路として中間層間イントラクタ接続を同定する。
解の整合性正則化を導入し,不規則な解の分布を誘導する。
この目的は、直接注意を拘束することなく、我々の分析が意味する経路と整合して、中間層の注意を質問トークンから邪魔者画像に還元する。
提案手法では,5つのベンチマークにおいて,Qwen2.5-VLベースラインに対して平均16ポイントの円周精度を向上し,シングルイメージ性能を保った。
関連論文リスト
- Attention Sinks in VLMs Are Borrowed, Not Seen [76.79123104039475]
ビジュアルアテンションシンク(Visual attention sink)は、クエリやタスクに関わらず、画像上の大きな注意を吸収する画像トークンである。
画像トークンのキーと言語モデルのテキストシンクのキーとの間の中心的なコサイン類似性だけが、視覚的なシンクを検出する。
本稿では,まず注意マップをクリーニングし,次に最も注目された領域を抽出し,推論トレースに挿入する,トレーニングフリーでエントロピートリガー付きリルックを提案する。
論文 参考訳(メタデータ) (2026-10-11T19:20:41Z) - VisReflect: Latent Visual Reflection for Fine-Grained Perception in Long Visual Context [47.466197471764104]
潜時視覚反射による長い視覚的コンテキストにおけるきめ細かい知覚を改善するフレームワークである**VisReflect*を提案する。
画像ベンチマークでは4.1%,ビデオベンチマークでは1.8%向上した。
ズーム法と比較すると,提案手法は映像理解における推論時間を約44%削減し,比較性能が向上する。
論文 参考訳(メタデータ) (2026-06-29T13:30:17Z) - Decoding the Pulse of Reasoning VLMs in Multi-Image Understanding Tasks [0.006813985320936554]
従来見過ごされていた現象を考察する: チェーン・オブ・ソート(CoT)世代において、推論のテキスト・ツー・イメージ(T2I)の注意が「パルス」を拡散させる。
我々は、CoT推論をソフトアテンションゲーティングでインターリーブされたプラン/フォーカスブロックに構造化する訓練不要な推論時間手法であるPulseFocusを提案する。
論文 参考訳(メタデータ) (2026-03-04T23:34:39Z) - ConFoThinking: Consolidated Focused Attention Driven Thinking for Visual Question Answering [10.689628202869635]
ConFoThinkingは、指定された中間層に注意を集約することを学び、そこから下流の視覚的理解のために、正常な領域を掘り下げてズームする。
5つのVQAベンチマークの実験は、ConFoThinkingが認識性能を大幅に改善したことを示している。
論文 参考訳(メタデータ) (2026-02-26T06:28:43Z) - Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
機械的解釈可能性のレンズによる空間的推論の課題について検討する。
空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。
本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
論文 参考訳(メタデータ) (2025-03-03T17:57:03Z) - Attention Overlap Is Responsible for The Entity Missing Problem in Text-to-image Diffusion Models! [3.355491272942994]
本研究では, 実体欠落問題の原因となる3つの要因について検討し, クロスアテンションダイナミクスに着目した。
実体間の注意マップの重複を減らすことは、実体の欠落率を効果的に最小化することを発見した。
論文 参考訳(メタデータ) (2024-10-28T12:43:48Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳(メタデータ) (2023-07-04T02:50:44Z) - Learning Target Candidate Association to Keep Track of What Not to Track [100.80610986625693]
目標を追尾し続けるために、逸脱物を追跡することを提案します。
視覚的トラッキングにおいて, トラクタオブジェクト間の接地トルース対応を欠く問題に対処するために, 部分アノテーションと自己監督を組み合わせたトレーニング戦略を提案する。
我々のトラッカーは6つのベンチマークで新しい最先端のベンチマークを設定し、AUCスコアはLaSOTで67.2%、OxUvA長期データセットで+6.1%向上した。
論文 参考訳(メタデータ) (2021-03-30T17:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。