論文の概要: RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection

• arxiv url: http://arxiv.org/abs/2505.15386v1
• Date: Wed, 21 May 2025 11:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.527934
• Title: RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection
• Title（参考訳）: RePPL: 説明可能なQA幻覚検出のための意味伝播と言語生成の不確かさによる難読化
• Authors: Yiming Huang, Junyan Zhang, Zihao Wang, Biquan Bie, Xuming Hu, Yi R., Fung, Xinlei He,
• Abstract要約: 幻覚は大きな言語モデルにとって 重要な障害です これら2つの側面により不確実性の測定を補正するRePPLを提案する。 提案手法は,様々なQAデータセットにまたがる最高の包括的検出性能を実現する。
• 参考スコア（独自算出の注目度）: 29.344966292751817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have become powerful, but hallucinations remain a vital obstacle to their trustworthy use. While previous works improved the capability of hallucination detection by measuring uncertainty, they all lack the ability to explain the provenance behind why hallucinations occur, i.e., which part of the inputs tends to trigger hallucinations. Recent works on the prompt attack indicate that uncertainty exists in semantic propagation, where attention mechanisms gradually fuse local token information into high-level semantics across layers. Meanwhile, uncertainty also emerges in language generation, due to its probability-based selection of high-level semantics for sampled generations. Based on that, we propose RePPL to recalibrate uncertainty measurement by these two aspects, which dispatches explainable uncertainty scores to each token and aggregates in Perplexity-style Log-Average form as total score. Experiments show that our method achieves the best comprehensive detection performance across various QA datasets on advanced models (average AUC of 0.833), and our method is capable of producing token-level uncertainty scores as explanations for the hallucination. Leveraging these scores, we preliminarily find the chaotic pattern of hallucination and showcase its promising usage.
• Abstract（参考訳）: 大きな言語モデル(LLM)は強力になったが、幻覚は信頼に値する使用にとって重要な障害である。 以前の研究では、不確実性を測定することによって幻覚の検出能力が改善されていたが、幻覚がなぜ起こるのか、すなわち、どの部分が幻覚を引き起こすかを説明する能力は欠如していた。 プロンプト攻撃に関する最近の研究は、アテンション機構が徐々に局所トークン情報を階層間の高レベルなセマンティクスに融合させるセマンティクス伝播に不確実性が存在することを示している。 一方、言語生成における不確実性は、サンプリングされた世代に対する高いレベルのセマンティクスを確率ベースで選択することによるものである。 そこで本稿では,各トークンに説明可能な不確実性スコアをディスパッチし,パープレキシティ形式のログ平均値を総スコアとして集計するRePPLを提案する。 実験により,先進モデル(平均0.833AUC)における各種QAデータセットの包括的検出性能が最も優れており,幻覚の説明としてトークンレベルの不確実性スコアを生成することができることがわかった。 これらのスコアを活用することで、幻覚のカオスパターンを事前に見つけ、その有望な使用法を示す。

関連論文リスト

• Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations [51.92795774118647]
  LLMの表現空間における1つの線形特徴によって「動詞の不確実性」が支配されることがわかった。 これはモデルの実際の意味的不確実性と適度な相関しか持たないことを示す。
  論文  参考訳（メタデータ） (2025-03-18T17:51:04Z)
• Can Your Uncertainty Scores Detect Hallucinated Entity? [14.432545893757677]
  本稿では,エンティティレベルで幻覚を注釈する新たなデータセットであるHaluEntityを提案する。 このデータセットに基づいて、17の近代LCMにおける不確実性に基づく幻覚検出手法を評価する。 実験の結果,個々のトークン確率に着目した不確実性推定手法は幻覚を過度に予測する傾向があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T16:01:41Z)
• Enhancing Uncertainty Modeling with Semantic Graph for Hallucination Detection [46.930149191121416]
  大規模言語モデル(LLM)は、非事実的あるいは不誠実な文で幻覚を起こす傾向がある。 本稿では,幻覚検出のための意味グラフを用いた不確実性モデリング手法を提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:45:05Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。