論文の概要: VIB-Probe: Detecting and Mitigating Hallucinations in Vision-Language Models via Variational Information Bottleneck

• arxiv url: http://arxiv.org/abs/2601.05547v1
• Date: Fri, 09 Jan 2026 05:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.857005
• Title: VIB-Probe: Detecting and Mitigating Hallucinations in Vision-Language Models via Variational Information Bottleneck
• Title（参考訳）: VIB-Probe:変分情報ボトルネックによる視覚言語モデルにおける幻覚の検出と緩和
• Authors: Feiran Zhang, Yixin Wu, Zhenghua Wang, Xiaohua Wang, Changze Lv, Xuanjing Huang, Xiaoqing Zheng,
• Abstract要約: 本稿では,新しい幻覚検出・緩和フレームワークVIB-Probeを提案する。 本手法は,意味論をフィルタリングしながら,階層や頭部の識別パターンを抽出する。 私たちのコードは公開されます。
• 参考スコア（独自算出の注目度）: 43.74340618057423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) have demonstrated remarkable progress in multimodal tasks, but remain susceptible to hallucinations, where generated text deviates from the underlying visual content. Existing hallucination detection methods primarily rely on output logits or external verification tools, often overlooking their internal mechanisms. In this work, we investigate the outputs of internal attention heads, postulating that specific heads carry the primary signals for truthful generation.However, directly probing these high-dimensional states is challenging due to the entanglement of visual-linguistic syntax and noise. To address this, we propose VIB-Probe, a novel hallucination detection and mitigation framework leveraging the Variational Information Bottleneck (VIB) theory. Our method extracts discriminative patterns across layers and heads while filtering out semantic nuisances through the information bottleneck principle. Furthermore, by leveraging the gradients of our VIB probe, we identify attention heads with strong causal influence on hallucinations and introduce an inference-time intervention strategy for hallucination mitigation. Extensive experiments across diverse benchmarks demonstrate that VIB-Probe significantly outperforms existing baselines in both settings. Our code will be made publicly available.
• Abstract（参考訳）: VLM(Vision-Language Models)は、マルチモーダルタスクにおいて顕著な進歩を見せているが、生成したテキストが基礎となる視覚内容から逸脱する幻覚の影響を受けない。 既存の幻覚検出法は主に出力ロジットや外部検証ツールに依存しており、しばしば内部メカニズムを見落としている。 本研究では,視覚言語構文と雑音の絡み合いから,これらの高次元状態を直接探索することは困難である。 そこで本研究では,新たな幻覚検出・緩和フレームワークであるVIB-Probeを提案する。 本手法は,情報ボトルネックの原理を用いて意味論をフィルタリングしながら,階層や頭部の識別パターンを抽出する。 さらに、VIBプローブの勾配を利用して、幻覚に強い因果関係を持つ注意頭を特定し、幻覚軽減のための推論時間介入戦略を導入する。 様々なベンチマークによる大規模な実験により、VIB-Probeは両方の設定で既存のベースラインを大幅に上回っていることが示されている。 私たちのコードは公開されます。

関連論文リスト

• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。