論文の概要: Vocabulary Hijacking in LVLMs: Unveiling Critical Attention Heads by Excluding Inert Tokens to Mitigate Hallucination

• arxiv url: http://arxiv.org/abs/2605.10622v1
• Date: Mon, 11 May 2026 14:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.884372
• Title: Vocabulary Hijacking in LVLMs: Unveiling Critical Attention Heads by Excluding Inert Tokens to Mitigate Hallucination
• Title（参考訳）: LVLMにおける語彙ハイジャック: 幻覚を緩和するために不活性なトークンを除外して致命的な注意を喚起する
• Authors: Yangneng Chen, Junlin Li, Weijun Yao, Xilai Ma, Guodong Du, Wenya Wang, Jing Li,
• Abstract要約: 我々はロジットレンズを用いて注意機構を解析し、Vocabulary Hijacking(語彙ハイジャック)という別個の異常を明らかにする。 本研究では,ハイジャック・アウェア・ビジュアル・アテンション・エンハンスメント(HAVAE, Hijacking-Aware Visual Attention Enhancement)を提案する。
• 参考スコア（独自算出の注目度）: 25.643533134113607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) have achieved remarkable progress in multimodal tasks, yet their reliability is persistently undermined by hallucinations-generating text that contradicts visual input. Recent studies often attribute these errors to inadequate visual attention. In this work, we analyze the attention mechanisms via the logit lens, uncovering a distinct anomaly we term Vocabulary Hijacking. We discover that specific visual tokens, defined as Inert Tokens, disproportionately attract attention. Crucially, when their intermediate hidden states are projected into the vocabulary space, they consistently decode to a fixed set of unrelated words (termed Hijacking Anchors) across layers, revealing a rigid semantic collapse. Leveraging this semantic rigidity, we propose Hijacking Anchor-Based Identification (HABI), a robust strategy to accurately localize these Inert Tokens. To quantify the impact of this phenomenon, we introduce the Non-Hijacked Visual Attention Ratio (NHAR), a novel metric designed to identify attention heads that remain resilient to hijacking and are critical for factual accuracy. Building on these insights, we propose Hijacking-Aware Visual Attention Enhancement (HAVAE), a training-free intervention that selectively strengthens the focus of these identified heads on salient visual content. Extensive experiments across multiple benchmarks demonstrate that HAVAE significantly mitigates hallucinations with no additional computational overhead, while preserving the model's general capabilities. Our code is publicly available at https://github.com/lab-klc/HAVAE.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)はマルチモーダルタスクにおいて顕著な進歩を遂げているが、その信頼性は視覚入力と矛盾する幻覚生成テキストによって持続的に損なわれている。 近年の研究では、これらの誤りは視覚的注意の欠如に起因していることが多い。 本研究では,ロジットレンズを用いて注意機構を解析し,Vocabulary Hijacking(語彙ハイジャック)という別個の異常を明らかにする。 Inert Tokensとして定義された特定の視覚トークンが不当に注目を集めていることに気づいた。 重要なことに、それらの中間隠れ状態が語彙空間に射影されると、それらは一貫して階層をまたいだ無関係な単語(ヒジャックアンカー(Hijacking Anchors)と呼ばれる)の固定セットにデコードされ、厳密な意味的崩壊が明らかになる。 このセマンティックな剛性を活用して、これらの慣性トークンを正確にローカライズするための頑健な戦略であるHijacking Anchor-Based Identification (HABI)を提案する。 この現象の影響を定量化するために,非ハイジャック型視覚注意率(NHAR)を導入する。 これらの知見に基づいて,ハイジャック・アウェア・ビジュアル・アテンション・エンハンスメント(HAVAE)を提案する。 複数のベンチマークにわたる大規模な実験により、HAVAEはモデル全体の能力を保ちながら、追加の計算オーバーヘッドなしで幻覚を著しく緩和することを示した。 私たちのコードはhttps://github.com/lab-klc/HAVAEで公開されています。

関連論文リスト

• SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation [33.381194425912234]
  視覚言語モデル(VLM)はしばしば幻覚に悩まされ、視覚入力と矛盾するコンテンツを生成する。 SAGE, Sink-Aware Grounded Decoding frameworkは, 生成中の自己注意を動的に調節することで幻覚を緩和する。 本手法は,MSCOCOでは10.65%,AMBERでは7.19%の相対的改善を実現している。
  論文  参考訳（メタデータ） (2026-03-29T22:52:03Z)
• Attention to details, logits to truth: visual-aware attention and logits enhancement to mitigate hallucinations in LVLMs [12.578567672069601]
  本稿では,タスク関連トークンの注意力を高めるための学習自由注意介入アルゴリズムを提案する。 視覚的トークンの寄与を高めるため,ビーム探索復号法に視覚的注意値を注入し,より高い視覚的注意力を持つ解を同定する。
  論文  参考訳（メタデータ） (2026-02-10T08:26:50Z)
• CAI: Caption-Sensitive Attention Intervention for Mitigating Object Hallucination in Large Vision-Language Models [60.0300765815417]
  LVLM(Large Vision-Language Models)は、視覚情報から逸脱するコンテンツをしばしば生成し、物体の幻覚を引き起こす。 本稿では,CAI (Caption-sensitive Attention Intervention) を提案する。
  論文  参考訳（メタデータ） (2025-06-30T07:52:36Z)
• Uncertainty-Aware Attention Heads: Efficient Unsupervised Uncertainty Quantification for LLMs [129.79394562739705]
  大型言語モデル(LLM)は、顕著な流布を示すが、しばしば「幻覚」として知られる致命的な誤りを引き起こす。 本稿では,非教師的アプローチであるRAUQ(Recurrent Attention-based Uncertainty Quantification)を提案する。 4つのLLMと12の質問応答、要約、翻訳タスクにわたる実験は、RAUQが優れた結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2025-05-26T14:28:37Z)
• Attention Reallocation: Towards Zero-cost and Controllable Hallucination Mitigation of MLLMs [62.9348974370985]
  約ゼロの余剰コストで幻覚を緩和するための注意再配置(AttnReal)を提案する。 我々のアプローチは,MLLMの注意分布が,歴史的出力トークンによって特徴が支配されるという重要な観測によって動機付けられている。 この観測に基づいて、AttnRealは出力トークンからの過剰な注意をリサイクルし、それを視覚トークンに再配置することで、MLLMの言語優先への依存を軽減します。
  論文  参考訳（メタデータ） (2025-03-11T11:52:37Z)
• Attention Hijackers: Detect and Disentangle Attention Hijacking in LVLMs for Hallucination Mitigation [123.54980913741828]
  LVLM(Large Vision-Language Models)は幻覚に弱い。 AID(Attention HIjackers Detection and Disentanglement)と呼ばれる新しい非トレーニング型戦略を提案する。 AIDは、命令駆動の視覚的サリエンスを計算することによって、意図的ヒジャッカーを特定する。 次に、これらの特定されたヒジャッカーの視覚的注意を隠蔽するために注意散らし機構を提案する。 Re-Disentanglementは、過剰なマスキング効果を避けるために、命令駆動と画像駆動の視覚的サリエンスの間のバランスを再計算する。
  論文  参考訳（メタデータ） (2025-03-11T09:35:55Z)
• PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
  幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2025-01-21T15:22:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。