論文の概要: HaloProbe: Bayesian Detection and Mitigation of Object Hallucinations in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2604.06165v2
• Date: Fri, 10 Apr 2026 16:49:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 13:51:27.661193
• Title: HaloProbe: Bayesian Detection and Mitigation of Object Hallucinations in Vision-Language Models
• Title（参考訳）: HaloProbe:視覚言語モデルにおける物体幻覚のベイズ検出と緩和
• Authors: Reihaneh Zohrabi, Hosein Hasani, Akshita Gupta, Mahdieh Soleymani Baghshah, Anna Rohrbach, Marcus Rohrbach,
• Abstract要約: 本稿では,トークンレベルの確率を推定するために,外部記述統計と内部復号信号を分解するフレームワークHaloProbeを紹介する。 実験の結果,HaloProbe-guided decodingは,最先端の介入法よりも効率よく幻覚を減少させることがわかった。
• 参考スコア（独自算出の注目度）: 24.95822790180999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models can produce object hallucinations in image descriptions, highlighting the need for effective detection and mitigation strategies. Prior work commonly relies on the model's attention weights on visual tokens as a detection signal. We reveal that coarse-grained attention-based analysis is unreliable due to hidden confounders, specifically token position and object repetition in a description. This leads to Simpson's paradox: the attention trends reverse or disappear when statistics are aggregated. Based on this observation, we introduce HaloProbe, a Bayesian framework that factorizes external description statistics and internal decoding signals to estimate token-level hallucination probabilities. HaloProbe uses balanced training to isolate internal evidence and combines it with a learned prior over external features to recover the true posterior. While intervention-based mitigation methods often degrade utility or fluency by modifying models' internals, we use HaloProbe as an external scoring signal for non-invasive mitigation. Our experiments show that HaloProbe-guided decoding reduces hallucinations more effectively than state-of-the-art intervention-based methods while preserving utility.
• Abstract（参考訳）: 大きな視覚言語モデルは、画像記述におけるオブジェクト幻覚を生成でき、効果的な検出と緩和戦略の必要性を強調している。 それまでの作業は、検出信号としての視覚トークンに対するモデルの注意重みに依存していた。 粗い注意に基づく分析は、隠れた共同設立者、具体的にはトークンの位置とオブジェクトの繰り返しによって信頼性が低いことが判明した。 このことがシンプソンのパラドックスに繋がる: 統計が集約されると注意傾向が逆転または消失する。 本稿では,外部記述統計と内部復号信号からトークンレベルの幻覚確率を推定するベイズ的フレームワークHaloProbeを紹介する。 HaloProbeは、バランスの取れたトレーニングを使用して、内部証拠を分離し、学習済みの外部特徴と組み合わせて、真の後部を回復する。 介入型緩和法は, モデル内部を変更することで実用性や流速を劣化させることが多いが, 非侵襲的緩和のための外部スコア信号としてHaloProbeを用いる。 実験の結果,HaloProbe-guided decodingは,実用性を維持しつつ,最先端の介入法よりも効率よく幻覚を抑えることがわかった。

関連論文リスト

• PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache Pruning [87.35309934860938]
  大型言語モデル(MLLM)における幻覚は、視覚トークンに割り当てられた注意不足と強く関連している。 我々は、適応的なKVキャッシュプルーニングを活用し、重要な視覚情報に焦点をあてるトレーニングフリーでシンプルで効果的な方法である textbfPruneHal を提案する。
  論文  参考訳（メタデータ） (2025-10-22T02:41:07Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• VaLiD: Mitigating the Hallucination of Large Vision Language Models by Visual Layer Fusion Contrastive Decoding [38.23310445372371]
  LVLM(Large Vision-Language Models)はマルチモーダルタスク推論において顕著な機能を示す。 彼らはしばしば、幻覚として知られる視覚的内容が正確に反映されていないように思われる応答を生成する。 近年のアプローチでは、推論段階における復号化戦略を調整することで幻覚を緩和するための訓練不要な手法が導入されている。 textbfVisutextbfal textbfLayer Fustextbfion textbfD
  論文  参考訳（メタデータ） (2024-11-24T13:42:02Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。