論文の概要: Diverging Towards Hallucination: Detection of Failures in Vision-Language Models via Multi-token Aggregation

• arxiv url: http://arxiv.org/abs/2505.11741v1
• Date: Fri, 16 May 2025 23:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.81733
• Title: Diverging Towards Hallucination: Detection of Failures in Vision-Language Models via Multi-token Aggregation
• Title（参考訳）: 幻覚への多様化:多点集合による視覚言語モデルの故障検出
• Authors: Geigh Zollicoffer, Minh Vu, Manish Bhattarai,
• Abstract要約: 視覚言語モデル(VLM)は、今や多くのマルチモーダルタスクにおいて人間のパフォーマンスと競合するが、それでもオブジェクトを幻覚させるか、安全でないテキストを生成する。 初期ロジットの完全配列を解析することで,診断情報が大幅に向上することが実証された。 マルチトークンの信頼性評価(MTRE, Multi-Token Reliability Estimation)は, マルチトークンの対数比と自己アテンションを用いて, 最初の10トークンからログを集約する軽量なホワイトボックス手法である。
• 参考スコア（独自算出の注目度）: 1.9226023650048942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) now rival human performance on many multimodal tasks, yet they still hallucinate objects or generate unsafe text. Current hallucination detectors, e.g., single-token linear probing (SLP) and P(True), typically analyze only the logit of the first generated token or just its highest scoring component overlooking richer signals embedded within earlier token distributions. We demonstrate that analyzing the complete sequence of early logits potentially provides substantially more diagnostic information. We emphasize that hallucinations may only emerge after several tokens, as subtle inconsistencies accumulate over time. By analyzing the Kullback-Leibler (KL) divergence between logits corresponding to hallucinated and non-hallucinated tokens, we underscore the importance of incorporating later-token logits to more accurately capture the reliability dynamics of VLMs. In response, we introduce Multi-Token Reliability Estimation (MTRE), a lightweight, white-box method that aggregates logits from the first ten tokens using multi-token log-likelihood ratios and self-attention. Despite the challenges posed by large vocabulary sizes and long logit sequences, MTRE remains efficient and tractable. On MAD-Bench, MM-SafetyBench, MathVista, and four compositional-geometry benchmarks, MTRE improves AUROC by 9.4 +/- 1.3 points over SLP and by 12.1 +/- 1.7 points over P(True), setting a new state-of-the-art in hallucination detection for open-source VLMs.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、今や多くのマルチモーダルタスクにおいて人間のパフォーマンスと競合するが、それでもオブジェクトを幻覚させるか、安全でないテキストを生成する。 現在の幻覚検出器、例えば、SLP(Single-token linear probing)やP(True)は、通常、最初に生成されたトークンのロジットのみを分析するか、または、以前のトークン分布に埋め込まれたよりリッチな信号を見下ろす最も高いスコア成分だけを分析する。 初期ロジットの完全配列を解析することで,診断情報が大幅に向上することが実証された。 幻覚は、時間とともに微妙な不整合が蓄積されるため、いくつかのトークンの後にのみ現れる可能性があることを強調する。 幻覚トークンと非幻覚トークンに対応するロジット間のKL(Kullback-Leibler)のばらつきを解析することにより、VLMの信頼性ダイナミクスをより正確に捉えるために、後続ロジットを組み込むことの重要性を浮き彫りにする。 これに対し,マルチトークンの信頼性評価(MTRE)を提案する。これは,マルチトークンの対数比と自己アテンションを用いて,最初の10トークンからログを集約する軽量なホワイトボックス手法である。 大きな語彙サイズと長いロジットシーケンスによって生じる課題にもかかわらず、MTREは効率的でトラクタブルである。 MAD-Bench、MM-SafetyBench、MathVista、および4つの構成幾何学ベンチマークにおいて、MTREはAUROCをSLP上の9.4 +/- 1.3点、P(True)上の12.1 +/- 1.7点で改善し、オープンソースのVLMの幻覚検出における新しい最先端を設定した。

関連論文リスト

• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• MetaToken: Detecting Hallucination in Image Descriptions by Meta Classification [1.3654846342364308]
  トークンレベルの幻覚を無視可能なコストで検出する軽量バイナリ分類器であるMetaTokenを紹介する。 統計的解析から,大規模視覚言語モデルにおける幻覚の重要な要因を明らかにする。 提案手法の有効性を示す4種類のLVLMについて検討した。
  論文  参考訳（メタデータ） (2024-05-29T15:28:42Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。