論文の概要: When Does Uncertainty Measure RAG Hallucination Risk?
- arxiv url: http://arxiv.org/abs/2610.22615v1
- Date: Thu, 15 Oct 2026 20:17:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.657645
- Title: When Does Uncertainty Measure RAG Hallucination Risk?
- Title(参考訳): 不確かさはRAG幻覚のリスクをいつ測定するのか?
- Abstract要約: 不確実性は検索増強世代(RAG)における幻覚リスクを測定することができる
我々は、HotpotQAとSQuADの4つの命令調整モデルでこれをテストする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Uncertainty can measure hallucination risk in retrieval-augmented generation (RAG), but only when retrieved evidence constrains the answer. When evidence is present, unsupported factual claims become less likely; when retrieval coverage is poor, the model can answer from internal knowledge and assign high probability to unsupported claims. We test this across four instruction-tuned models on HotpotQA and SQuAD. After matching faithful and hallucinated answers within word-count bins, length-only classifiers fall near chance, while perplexity reaches 0.81--0.91 AUROC on targeted unsupported edits. Varying retrieval depth shows why the score changes meaning: detection can weaken with only the top-ranked passage, then recover after adding a second passage. A combined uncertainty and semantic-drift score improves calibration, and measurements remain above chance on RAGTruth QA. Results support a conditional view of uncertainty as a useful measure of RAG hallucination risk.
- Abstract(参考訳): 不確実性は、検索増強世代(RAG)における幻覚リスクを測定することができるが、検索された証拠が答えを制限するときのみである。
調査対象が不十分な場合、モデルが内部知識から回答し、サポート対象のクレームに高い確率を割り当てることができる。
我々は、HotpotQAとSQuADの4つの命令調整モデルでこれをテストする。
単語数ビン内の忠実で幻覚的な回答を一致させた後、長さのみの分類器はチャンスに近づき、パープレキシティはターゲット化された編集で0.81--0.91 AUROCに達する。
ボアリング検索深度は、なぜスコアが変化したかを示す: 検出はトップランクのパスのみによって弱まり、第2のパスを追加した後に回復する。
不確実性とセマンティックドリフトのスコアを組み合わせることでキャリブレーションが向上し、RAGTruth QAで測定される確率は依然として上回っている。
その結果、RAG幻覚リスクの有用な指標として不確実性の条件付き視点が支持された。
関連論文リスト
- Mitigating Cross-Modal Hallucinations by Correcting Modality Misrouting in Omnimodal LLMs [27.56126263575619]
その結果,不正確な共同予測のかなりの部分において,疑問関連一助分枝は依然として正解を回復できることがわかった。
本稿では,モダリティの不正行為を識別し,修正するためのトレーニング不要な推論時間手法であるCaReを提案する。
論文 参考訳(メタデータ) (2026-10-13T10:48:01Z) - When Confidence Takes the Wrong Path: Diagnosing Retrieval-State Lock-In in RAG [0.0]
多くのブラックボックスの不確実性法は、まだサンプル回答間の合意を自信として読んでいる。
問題は、デプロイされたRAGで認識されるが、名前、測定可能なシグネチャ、および有病率境界が欠落している。
故障検索状態のロックインを命名し、3つのオブジェクトを1つの信頼スコアが混在して診断する。
論文 参考訳(メタデータ) (2026-06-22T00:08:00Z) - Chance-Constrained Inference for Hallucination Risk Control in Large Language Models [0.0]
大規模な言語モデルは、事実の幻覚を含む、流動的だが無効な応答を生成する。
デプロイメント時のリスク管理問題として推論を定式化する。
信頼性に基づく選択予測は一般に確率論的リスク保証を示唆しないことを示す。
論文 参考訳(メタデータ) (2026-02-02T04:51:47Z) - Semantic Energy: Detecting LLM Hallucination Beyond Entropy [106.92072182161712]
大規模言語モデル(LLM)は、現実のアプリケーションにますますデプロイされているが、幻覚の影響を受けやすいままである。
不確実性推定は、そのような幻覚を検出するための実現可能なアプローチである。
本稿では,新しい不確実性推定フレームワークであるセマンティック・エナジーを紹介する。
論文 参考訳(メタデータ) (2025-08-20T07:33:50Z) - Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。
本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
論文 参考訳(メタデータ) (2025-05-27T11:56:59Z) - RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection [26.186204911845866]
幻覚は大きな言語モデルにとって 重要な障害です
これら2つの側面により不確実性の測定を補正するRePPLを提案する。
提案手法は,様々なQAデータセットにまたがる最高の包括的検出性能を実現する。
論文 参考訳(メタデータ) (2025-05-21T11:23:05Z) - Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations [51.92795774118647]
LLMの表現空間における1つの線形特徴によって「動詞の不確実性」が支配されることがわかった。
これはモデルの実際の意味的不確実性と適度な相関しか持たないことを示す。
論文 参考訳(メタデータ) (2025-03-18T17:51:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。