論文の概要: Targeting the Attention Heads Behind Object Hallucination in LLaVA

• arxiv url: http://arxiv.org/abs/2608.24966v1
• Date: Tue, 25 Aug 2026 08:01:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.302995
• Title: Targeting the Attention Heads Behind Object Hallucination in LLaVA
• Title（参考訳）: LLaVAにおける物体幻覚の背景にある注意頭
• Abstract要約: LLaVA-1.5-7Bのような視覚言語モデルは、字幕を生成する際に画像から欠落するオブジェクトを幻覚させる。 私たちは、画像の注意が幻覚した言葉の周りでどれだけ落ちてくるかによって注意をランク付けし、候補者の頭を非難することでショートリストを遮蔽する。 ヘッドスライスされたLoRAアダプタと推論時グラウンドングコントローラの2つの介入を制限します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models such as LLaVA-1.5-7B often hallucinate objects absent from the image when generating captions. We ask whether an interpretability diagnosis of this failure can guide a targeted fix, and we measure what that fix actually changes. We rank attention heads by how much their image attention drops around hallucinated object words, then screen the shortlist by ablating candidate heads and measuring the change in hallucination-token log probability, yielding a 32-head set. We restrict two interventions to these heads: a head-sliced LoRA adapter and an inference-time grounding controller. On 400 held-out COCO images, the combined method lowers CHAIRs (the fraction of captions with a hallucinated object) from 0.370 to 0.230 and CHAIRi (the fraction of hallucinated object mentions) from 0.156 to 0.096 (p < 0.001, paired sign-flip tests). Two controls sharpen attribution. A random-head LoRA control, matched layer-for-layer and trained identically, performs no better than the matched baseline on a separate 200-image control split, supporting the role of head selection rather than LoRA capacity. Under fixed decoding budgets, the CHAIR reduction persists and grows with budget (23% at 64 tokens to 58% at 128), arguing against a pure max-token or truncation artifact, although the method remains shorter and more conservative. The resulting behavior reduces unsupported object mentions while also lowering object recall (0.78 to 0.70). We present a diagnosis-to-intervention pipeline for object hallucination, and, more importantly, a controlled account of what acting on the diagnostic signal actually does: it localizes intervention sites with real, non-random leverage, reported as a behavioral profile rather than a single score.
• Abstract（参考訳）: LLaVA-1.5-7Bのような視覚言語モデルは、字幕を生成する際に画像から欠落するオブジェクトを幻覚させる。 我々は、この障害の解釈可能性診断が、目標とする修正を導くことができるかどうかを問うとともに、その修正が実際に何を変えるかを測定する。 画像の注意が幻覚的対象単語の周囲にどれだけ低下するかをランク付けした後、候補頭部を非難してショートリストをスクリーニングし、幻覚の確率の変化を計測し、32ヘッドセットを得る。 ヘッドスライスされたLoRAアダプタと推論時グラウンドングコントローラの2つの介入を制限します。 400枚のCOCO画像において、組み合わせた方法では、CHAIRsを0.370から0.230に、CHAIRiを0.156から0.096に下げる(p < 0.001, paired sign-flip test)。 2つのコントロールが属性を鋭くします。 ランダムヘッドのLoRA制御は、レイヤー・フォー・レイヤにマッチし、同一に訓練され、異なる200イメージの制御スプリットでマッチしたベースラインに匹敵せず、LoRAキャパシティよりもヘッドセレクションの役割を担っている。 固定化された復号化予算の下では、CHAIRの削減は継続し、予算(64トークンの23%から128トークンの58%)で成長し、純粋な最大トーケンやトランケーションのアーティファクトに反対するが、その方法はより短く、より保守的である。 結果として生じる振る舞いは、サポート対象の参照を減らし、オブジェクトリコール(0.78から0.70)も低下させる。 対象の幻覚に対する診断・介入パイプラインを提示し、さらに重要なことは、診断信号に対する作用が実際に行うことの制御された説明として、単一のスコアではなく行動プロファイルとして報告された、実際の非ランダムなレバレッジを持つ介入サイトをローカライズする。

関連論文リスト

• Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM [37.0916688511164]
  視覚的特徴抽出と画像とテキストの埋め込みの誤調整から幻覚が生じる視覚的オリジン幻覚の証拠を提示する。 本稿では、この問題を修正するために、ACFT(Adversarial Contrastive Fine-Tuning)を提案する。 ACFTは、LLaVA、MiniGPT-4、Qwen2.5-VLにまたがるPOPE、MME、および4つの記述レベル幻覚ベンチマークの最先端性能を達成する。
  論文  参考訳（メタデータ） (2026-08-31T18:38:24Z)
• Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs [49.743008490747094]
  Vision-Language Models (VLMs) は幻覚の傾向が強く、入力された画像によってサポートされないコンテンツを生成する。 統合された頭部レベルの視点では,幻覚による変化が各頭部の忠実な文脈行動からの局所的な逸脱として現れる。 詳細な分析により、これらの偏差は注目ヘッド、コンテキストソース、偏差方向にわたって体系的に整理され、その結果の信号はヘッドアイデンティティが保存されると線形に可読であることが分かる。
  論文  参考訳（メタデータ） (2026-07-31T13:33:51Z)
• Hallucinations Leave a Grounding Signature:Verifier-Guided Decoding for Selective Object Correction [36.98361389444117]
  大型視覚言語モデル(LVLM)は、画像から欠落している物体を幻覚させる。 Intrinsic Grounding Signature (IGS) に欠落した診断証拠がエンコードされていることを示す。 本稿では、軽量な検証器が各出現するオブジェクトの言及を検査する復号化フレームワークであるVerifier-Guided Decoding (VGD)を提案する。
  論文  参考訳（メタデータ） (2026-07-30T08:02:42Z)
• What Makes "Good" Distractors for Object Hallucination Evaluation in Large Vision-Language Models? [95.46087552542998]
  本稿では,Halucination検索を用いたObject Probing Evaluationベンチマークを紹介する。 これは、大きな視覚ランゲージモデルで幻覚を誘発する最も誤解を招きやすいイントラクタを生成することを目的としている。 実験結果から, HOPEの精度は少なくとも9%低下し, 最先端のLVLMでは最大23%低下した。
  論文  参考訳（メタデータ） (2025-08-03T03:11:48Z)
• Mitigating Behavioral Hallucination in Multimodal Large Language Models for Sequential Images [6.48620624181578]
  SHE(Sequence Hallucination Eradication)は,幻覚を検知し緩和する軽量なフレームワークである。 また,行動幻覚の重症度を定量化する新しい指標(BEACH)を提案する。
  論文  参考訳（メタデータ） (2025-06-08T15:08:52Z)
• Mitigating Hallucinations in Vision-Language Models through Image-Guided Head Suppression [16.465703269782654]
  大型視覚言語モデル (LVLM) はしばしば幻覚に悩まされ、視覚的文脈と一致しないテキストを生成する。 推論時間介入による幻覚の低減を目的とした既存の手法は、遅延を著しく増加させる。 本稿では,タスクに依存しない注意誘導型頭部抑制戦略であるSPINについて述べる。
  論文  参考訳（メタデータ） (2025-05-22T09:00:57Z)
• Hallucinatory Image Tokens: A Training-free EAZY Approach on Detecting and Mitigating Object Hallucinations in LVLMs [15.479587108655393]
  LVLM(Large Vision-Language Models)は、まだオブジェクト幻覚の課題に直面している。 我々の研究は、画像入力源に焦点を移し、特定の画像トークンが幻覚にどのように貢献するかを調べる。 本稿では,幻覚器画像トークンをゼロにすることで,hAllucinationsを自動的に識別し,除去する新しい学習自由化手法EAZYを紹介する。
  論文  参考訳（メタデータ） (2025-03-10T18:53:39Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
  視覚言語モデル(LVLM)は幻覚の傾向が強い。 ベンチマークは多くの場合、障害パターンが一般化できない手作りのコーナーケースに依存します。 最初の自動ベンチマーク生成手法であるAutoHallusionを開発した。
  論文  参考訳（メタデータ） (2024-06-16T11:44:43Z)
• ALOHa: A New Measure for Hallucination in Captioning Models [61.007542765171586]
  既存の物体幻覚の計量であるCHAIRは、MS COCOオブジェクトとシノニムの固定セットに限られる。 そこで我々は,大規模言語モデル(LLM)を利用して物体の幻覚を測定する,最新のオープン語彙メトリックALOHaを提案する。 ALOHaはHAT上のCHAIRよりも13.6%多くの幻覚物質を正しく同定することを示す。
  論文  参考訳（メタデータ） (2024-04-03T17:59:36Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。