論文の概要: Diverging Towards Hallucination: Detection of Failures in Vision-Language Models via Multi-token Aggregation

• arxiv url: http://arxiv.org/abs/2505.11741v1
• Date: Fri, 16 May 2025 23:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.81733
• Title: Diverging Towards Hallucination: Detection of Failures in Vision-Language Models via Multi-token Aggregation
• Title（参考訳）: 幻覚への多様化:多点集合による視覚言語モデルの故障検出
• Authors: Geigh Zollicoffer, Minh Vu, Manish Bhattarai,
• Abstract要約: 視覚言語モデル(VLM)は、今や多くのマルチモーダルタスクにおいて人間のパフォーマンスと競合するが、それでもオブジェクトを幻覚させるか、安全でないテキストを生成する。 初期ロジットの完全配列を解析することで,診断情報が大幅に向上することが実証された。 マルチトークンの信頼性評価(MTRE, Multi-Token Reliability Estimation)は, マルチトークンの対数比と自己アテンションを用いて, 最初の10トークンからログを集約する軽量なホワイトボックス手法である。
• 参考スコア（独自算出の注目度）: 1.9226023650048942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) now rival human performance on many multimodal tasks, yet they still hallucinate objects or generate unsafe text. Current hallucination detectors, e.g., single-token linear probing (SLP) and P(True), typically analyze only the logit of the first generated token or just its highest scoring component overlooking richer signals embedded within earlier token distributions. We demonstrate that analyzing the complete sequence of early logits potentially provides substantially more diagnostic information. We emphasize that hallucinations may only emerge after several tokens, as subtle inconsistencies accumulate over time. By analyzing the Kullback-Leibler (KL) divergence between logits corresponding to hallucinated and non-hallucinated tokens, we underscore the importance of incorporating later-token logits to more accurately capture the reliability dynamics of VLMs. In response, we introduce Multi-Token Reliability Estimation (MTRE), a lightweight, white-box method that aggregates logits from the first ten tokens using multi-token log-likelihood ratios and self-attention. Despite the challenges posed by large vocabulary sizes and long logit sequences, MTRE remains efficient and tractable. On MAD-Bench, MM-SafetyBench, MathVista, and four compositional-geometry benchmarks, MTRE improves AUROC by 9.4 +/- 1.3 points over SLP and by 12.1 +/- 1.7 points over P(True), setting a new state-of-the-art in hallucination detection for open-source VLMs.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、今や多くのマルチモーダルタスクにおいて人間のパフォーマンスと競合するが、それでもオブジェクトを幻覚させるか、安全でないテキストを生成する。 現在の幻覚検出器、例えば、SLP(Single-token linear probing)やP(True)は、通常、最初に生成されたトークンのロジットのみを分析するか、または、以前のトークン分布に埋め込まれたよりリッチな信号を見下ろす最も高いスコア成分だけを分析する。 初期ロジットの完全配列を解析することで,診断情報が大幅に向上することが実証された。 幻覚は、時間とともに微妙な不整合が蓄積されるため、いくつかのトークンの後にのみ現れる可能性があることを強調する。 幻覚トークンと非幻覚トークンに対応するロジット間のKL(Kullback-Leibler)のばらつきを解析することにより、VLMの信頼性ダイナミクスをより正確に捉えるために、後続ロジットを組み込むことの重要性を浮き彫りにする。 これに対し,マルチトークンの信頼性評価(MTRE)を提案する。これは,マルチトークンの対数比と自己アテンションを用いて,最初の10トークンからログを集約する軽量なホワイトボックス手法である。 大きな語彙サイズと長いロジットシーケンスによって生じる課題にもかかわらず、MTREは効率的でトラクタブルである。 MAD-Bench、MM-SafetyBench、MathVista、および4つの構成幾何学ベンチマークにおいて、MTREはAUROCをSLP上の9.4 +/- 1.3点、P(True)上の12.1 +/- 1.7点で改善し、オープンソースのVLMの幻覚検出における新しい最先端を設定した。

関連論文リスト

• First Hallucination Tokens Are Different from Conditional Ones [17.13749013546228]
  トークンレベルでの幻覚は、リアルタイムフィルタリングとターゲットの修正に不可欠である。 我々は、RAGTruthコーパスをトークンレベルのアノテーションと再現ロジットを用いて幻覚信号の解析を行う。 その結果,最初の幻覚トークンは強い信号を持ち,条件付きトークンよりも検出しやすくなった。
  論文  参考訳（メタデータ） (2025-07-28T13:44:21Z)
• Token Level Hallucination Detection via Variance in Language Models [0.0]
  大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な生成能力を示したが、幻覚に弱いままである。 複数世代にわたるトークンログ確率のばらつきを利用した,参照不要なトークンレベルの幻覚検出フレームワークを提案する。 我々のアプローチは、モデルに依存しず、解釈可能であり、リアルタイムまたはポストホック分析に適している。
  論文  参考訳（メタデータ） (2025-07-05T19:20:59Z)
• Seeing Far and Clearly: Mitigating Hallucinations in MLLMs with Attention Causal Decoding [33.33247964758369]
  我々は,トークンインタラクションプロセスから直接適切なコンテキスト情報を抽出できると主張している。 復号化戦略における因果推論に着想を得て、因果マスクを活用してマルチモーダルトークン間の情報伝達を確立することを提案する。 FarSightは汎用的なプラグ・アンド・プレイ・デコード方式で,外部トークンからの注意干渉を低減する。
  論文  参考訳（メタデータ） (2025-05-22T13:19:57Z)
• Attention Reallocation: Towards Zero-cost and Controllable Hallucination Mitigation of MLLMs [62.9348974370985]
  約ゼロの余剰コストで幻覚を緩和するための注意再配置(AttnReal)を提案する。 我々のアプローチは,MLLMの注意分布が,歴史的出力トークンによって特徴が支配されるという重要な観測によって動機付けられている。 この観測に基づいて、AttnRealは出力トークンからの過剰な注意をリサイクルし、それを視覚トークンに再配置することで、MLLMの言語優先への依存を軽減します。
  論文  参考訳（メタデータ） (2025-03-11T11:52:37Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Mitigating Object Hallucination via Concentric Causal Attention [71.27325347912823]
  物体の幻覚は回転位置と密接に結びついていることを示す。 RoPEは、広く採用されている位置依存モデリング設計である。 簡易かつ効果的な位置アライメント戦略であるConcentric Causal Attention (CCA)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:54:53Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• MetaToken: Detecting Hallucination in Image Descriptions by Meta Classification [1.3654846342364308]
  トークンレベルの幻覚を無視可能なコストで検出する軽量バイナリ分類器であるMetaTokenを紹介する。 統計的解析から,大規模視覚言語モデルにおける幻覚の重要な要因を明らかにする。 提案手法の有効性を示す4種類のLVLMについて検討した。
  論文  参考訳（メタデータ） (2024-05-29T15:28:42Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。