論文の概要: Entropy Distribution as a Fingerprint for Hallucinations in Generative Models

• arxiv url: http://arxiv.org/abs/2605.28264v1
• Date: Wed, 27 May 2026 10:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.960395
• Title: Entropy Distribution as a Fingerprint for Hallucinations in Generative Models
• Title（参考訳）: 生成モデルにおける幻覚のフィンガープリントとしてのエントロピー分布
• Authors: Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Romina Yalovetzky, Niraj Kumar,
• Abstract要約: Calibrated Entropy Score (CES) は幻覚検出のための軽量なアルゴリズムである。 CESは、平均信号と生成されたエントロピーの最大信号とを校正基準CDFを介して結合する。 CESは、はるかに大きな計算コストを必要とするマルチサンプル手法と統計的に区別できない。
• 参考スコア（独自算出の注目度）: 1.5135066879411019
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often generate factually incorrect outputs, commonly termed hallucinations, that undermine trust and limit deployment in high-stakes settings. Existing hallucination detection methods typically require multiple forward passes, or access to model internals. In this work, we provide theoretical background and empirical evidence that the distribution of token-level entropies, beyond the mean captured by perplexity or length-normalised entropy, serves as a fingerprint of hallucination, with distributional shape and tail behaviour carrying independent signal. We formalize hallucination detection as a statistical hypothesis test and propose the Calibrated Entropy Score (CES), a lightweight algorithm requiring only a single forward pass and black-box access to token logits. CES combines the mean signal with the maximum signal of the generated entropy through a calibrated reference CDF, producing scores that are directly comparable across models and tasks. We establish finite-sample calibration guarantees via a novel random-length Dvoretzky--Kiefer--Wolfowitz inequality, and also prove that CES detects hallucinations with probability converging to one exponentially fast in the generation length. Across eight QA benchmarks and ten generator models spanning open-source and API access models, CES achieves the highest detection performance among all single-pass black-box methods while providing formal error guarantees that existing heuristics lack. Remarkably, CES is statistically indistinguishable from multi-sample methods that require far greater computational cost, closing the gap between lightweight and expensive detection and making it suitable for real-time, large-scale deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、信頼を損なうことや高レベルな設定でのデプロイメントを制限する、事実的に誤った出力を生成する。 既存の幻覚検出方法は、通常、複数の前方パス、またはモデル内部へのアクセスを必要とする。 本研究では, トークンレベルのエントロピーの分布が, パープレキシティや長さ正規化エントロピーによって捉えられた平均を超えて, 幻覚の指紋として機能することを示す。 統計的仮説テストとして幻覚検出を形式化し,単一前方通過とトークンロジットへのブラックボックスアクセスのみを必要とする軽量アルゴリズムCalibrated Entropy Score (CES)を提案する。 CESは、平均信号と生成されたエントロピーの最大信号とを、校正された基準CDFを通して組み合わせ、モデルとタスク間で直接比較できるスコアを生成する。 我々は、新しいランダム長Dvoretzky--Kiefer-Wolfowitz不等式による有限サンプル校正保証を確立し、また、CESが生成長さにおいて指数的に高速に収束する確率で幻覚を検出することを証明した。 オープンソースとAPIアクセスモデルにまたがる8つのQAベンチマークと10のジェネレータモデルに対して、CESは、既存のヒューリスティックスが欠如していることの正式なエラー保証を提供しながら、すべてのシングルパスブラックボックスメソッドの中で最高の検出パフォーマンスを達成する。 注目すべきは、CESが計算コストを大幅に上回るマルチサンプル手法と統計的に区別できないことだ。

関連論文リスト

• EVEREST: An Evidential, Tail-Aware Transformer for Rare-Event Time-Series Forecasting [4.551615447454767]
  EVERESTは確率的レアイベント予測のためのトランスフォーマーベースのアーキテクチャである。 キャリブレーションされた予測とテールアウェアのリスク推定を提供する。 産業監視、天気予報、衛星診断などの高度な分野に適用できる。
  論文  参考訳（メタデータ） (2026-01-26T23:15:20Z)
• ShED-HD: A Shannon Entropy Distribution Framework for Lightweight Hallucination Detection on Edge Devices [2.193668764461763]
  大規模言語モデル(Ms.LS)は、幅広いタスクにおいて印象的な能力を示してきたが、幻覚を生み出す傾向にある。 本稿では,特徴的不確実性パターンを効率的に検出する新しい幻覚検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-23T23:47:26Z)
• Data-Driven Abstractions via Binary-Tree Gaussian Processes for Formal Verification [0.22499166814992438]
  ガウス過程(GP)回帰に基づく抽象的解は、量子化された誤差を持つデータから潜在システムの表現を学習する能力で人気を博している。 二分木ガウス過程(BTGP)により未知系のマルコフ連鎖モデルを構築することができることを示す。 BTGPの関数空間に真の力学が存在しない場合でも、統一公式による非局在誤差量子化を提供する。
  論文  参考訳（メタデータ） (2024-07-15T11:49:44Z)
• Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs [32.901839335074676]
  幻覚は、大規模言語モデルの導入において大きな課題となる。 Farquhar et al. (2024) による最近の研究はセマンティックエントロピー (SE) を提案している。 本稿では, 単一世代の隠蔽状態から直接SEを近似するSEPを提案する。
  論文  参考訳（メタデータ） (2024-06-22T19:46:06Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。