論文の概要: SAGE: Sink-Aware Guided Emphasis for Visual Grounding in Vision-Language Decoders

• arxiv url: http://arxiv.org/abs/2610.11469v1
• Date: Thu, 08 Oct 2026 08:18:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.888339
• Title: SAGE: Sink-Aware Guided Emphasis for Visual Grounding in Vision-Language Decoders
• Title（参考訳）: SAGE:視覚言語デコーダにおける視覚的グラウンド化のためのシンク・アウェア・ガイドド・エフェシ
• Abstract要約: 我々は、視覚的注意シンクを再考し、構造化された層依存の振る舞いを明らかにする。 Sink-Aware Guided Emphasis steers Decoder は PIS から切り離され、クエリ依存の領域に注目する。 多様な視覚エンコーダ+デコーダのみのLLM VLMファミリーで評価した。
• 参考スコア（独自算出の注目度）: 9.111289141483695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent large vision-language models (VLMs) pair a visual encoder with a large language model (LLM) and perform well on diverse image-text tasks, yet their reliability is often limited by decoder attention pathologies that suppress visual evidence and exacerbate hallucinations. In this paper, we revisit visual attention sinks and uncover a structured, layer-dependent behavior: across prompts, early and late decoder layers exhibit prompt-invariant attention collapse onto the same few image regions, which we term PIS (Prompt-Invariant Sinks), whereas mid layers become prompt-conditioned and drive vision-language alignment. This split suggests that treating sinks as a uniform effect is incomplete. Building on this insight, we propose SAGE (Sink-Aware Guided Emphasis), a lightweight intervention that steers decoder attention away from PIS and toward query-dependent regions of interest (ROIs) using token-aligned ROI masks derived from standard vision backbones such as CLIP, ViT, and DINOv3. Evaluated on diverse vision-encoder + decoder-only LLM VLM families, SAGE improves visual grounding, reduces hallucinations, and yields consistent gains across public downstream vision-language benchmarks, including fine-grained visual discrimination settings where localized evidence is crucial, when instantiated with backbone-derived ROI masks.
• Abstract（参考訳）: 近年の大規模視覚言語モデル(VLM)は、視覚エンコーダと大きな言語モデル(LLM)を組み合わせ、多様な画像テキストタスクでよく機能するが、その信頼性は視覚的エビデンスを抑え、幻覚を悪化させるデコーダの注意病理によって制限されることが多い。 本稿では、視覚的注意シンクを再考し、構造化された層に依存した振る舞いを明らかにする: プロンプト、アーリーデコーダ層、レイトデコーダ層は、PIS(Prompt-Invariant Sinks)と呼ばれる少数の画像領域にプロンプト不変の注意崩壊を示し、一方、中間層は即時条件付き、視覚言語アライメントを駆動する。 この分裂は、シンクを均一な効果として扱うことが不完全なことを示唆している。 この知見に基づいて,SAGE(Sink-Aware Guided Emphasis)を提案する。これは,CLIP,VT,DINOv3などの標準的な視覚バックボーンから派生したトークン整列ROIマスクを用いて,PSSからクエリ依存領域(ROI)へ,デコーダの注意をそらす軽量な介入である。 SAGEは様々な視覚エンコーダとデコーダのみのLM VLMファミリに基づいて評価され、視覚的接地を改善し、幻覚を低減し、バックボーン由来のROIマスクでインスタンス化する場合に、局所的な証拠が不可欠である微粒な視覚識別設定を含む、パブリックな下流視覚ベンチマークで一貫した利得を得る。

関連論文リスト

• See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
  大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。 CAIは必要なときのみ2軸選択によってシーズを強制する。 複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
  論文  参考訳（メタデータ） (2026-06-29T06:35:47Z)
• LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition [51.70817823155725]
  顔表情認識のための視覚言語強化型ランドマーク誘導型コントラスト学習ネットワーク(FER)を提案する。 LaCoVL-FERは、顔のランドマークと視覚言語モデルからのセマンティックな事前情報を統合する。 実験により、LaCoVL-FERは3つの代表的な実世界のFERデータセット上で最先端のメソッドより優れていることが示された。
  論文  参考訳（メタデータ） (2026-05-19T13:15:41Z)
• See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment [16.616065291567445]
  MLLM(Multimodal large language model)は視覚入力を欠いたオブジェクトを幻覚させる。 DOP-OBCは、公平な注意の原則に基づいて構築された、トレーニング不要でアーキテクチャに依存しないデコーディング戦略である。
  論文  参考訳（メタデータ） (2026-04-10T11:01:48Z)
• Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models [58.91911788912665]
  より識別的な視覚表現の学習において,MLLMの学習を容易にする新しい学習フレームワークであるLaVerを提案する。 本手法はMLLMに対して直接視覚的アクティベーションを提供し,視覚的アサインメントが増大し,視覚情報の利用が向上したことを示す。
  論文  参考訳（メタデータ） (2025-12-06T04:20:13Z)
• Vision Language Models Map Logos to Text via Semantic Entanglement in the Visual Projector [41.95688336107109]
  視覚言語モデル(VLM)はマルチモーダル推論において顕著な進歩を遂げた。 しかし、視覚的な証拠はアウトプットを根拠にしていない幻覚に弱いままである。 本稿では,これまで見過ごされていた「ロゴ幻覚」について考察する。
  論文  参考訳（メタデータ） (2025-10-14T08:42:58Z)
• PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
  幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2025-01-21T15:22:31Z)
• Advancing General Multimodal Capability of Vision-language Models with Pyramid-descent Visual Position Encoding [64.29499221878746]
  視覚言語モデル(VLM)は、汎用人工知能の進歩において顕著な能力を示している。 PyPEは、VLM内の視覚トークンの知覚を高めるために設計された新しいアプローチである。 本手法は,相互関連視覚要素と命令トークンとの相対的距離を減少させる。
  論文  参考訳（メタデータ） (2025-01-19T07:00:46Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• Reducing Hallucinations in Vision-Language Models via Latent Space Steering [34.1755878632361]
  幻覚は、アプリケーションに大規模な視覚言語モデル(LVLM)を配置する上での課題である。 本稿では,視覚的特徴の安定性を高めるために,視覚とテクスチュアル・インターベンション(VTI, Visual and Textual Intervention)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T08:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。