論文の概要: Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection

• arxiv url: http://arxiv.org/abs/2603.06604v1
• Date: Wed, 18 Feb 2026 07:05:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.420738
• Title: Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection
• Title（参考訳）: LLMエラー検出における信頼と正確さの相違
• Authors: Xie Xiaohu, Liu Xiaohu, Yao Benjamin,
• Abstract要約: 大規模言語モデル(LLM)は、ますます重要な意思決定システムにデプロイされている。 出力アンカートークン確率に基づく正規化信頼スコアを導入する。 これにより、最小限のオーバーヘッドでエラーや幻覚を直接検出できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) are increasingly deployed in critical decision-making systems, the lack of reliable methods to measure their uncertainty presents a fundamental trustworthiness risk. We introduce a normalized confidence score based on output anchor token probabilities: classification labels for structured tasks and self-evaluation responses (Yes/No) for open-ended generation. This enables direct detection of errors and hallucinations with minimal overhead and without external validation. We make three key contributions. First, we propose a normalized confidence score and self-evaluation framework that exposes reliable confidence estimates for error detection across seven diverse benchmark tasks and five LLMs of varying architectures and sizes. Second, our theoretical analysis reveals that supervised fine-tuning (SFT) yields well-calibrated confidence through maximum-likelihood estimation, whereas reinforcement learning methods (PPO, GRPO) and DPO induce overconfidence via reward exploitation. Third, we propose post-RL SFT with self-distillation to restore confidence reliability in RL-trained models. Empirical results demonstrated that SFT improved average confidence-correctness AUROC from 0.806 to 0.879 and reduced calibration error from 0.163 to 0.034 on Qwen3-4B, while GRPO and DPO degraded confidence reliability. We demonstrated practical value through adaptive retrieval-augmented generation (RAG) that selectively retrieves context when the model lacks confidence, using only 58\% of retrieval operations to recover 95\% of the maximum achievable accuracy gain on TriviaQA
• Abstract（参考訳）: 大規模言語モデル(LLM)が重要な意思決定システムにますます導入されるにつれて、その不確実性を測定するための信頼性の高い方法が欠如していることは、基本的な信頼性リスクを示している。 出力アンカートークン確率に基づく正規化信頼度スコアを導入し、構造化タスクの分類ラベルとオープンエンド生成のための自己評価応答(Yes/No)を紹介する。 これにより、エラーや幻覚を最小限のオーバーヘッドで直接検出できる。 私たちは3つの重要な貢献をします。 まず、7つの異なるベンチマークタスクと5つのLLMの異なるアーキテクチャとサイズで、エラー検出のための信頼性の高い信頼度推定を公開できる正規化信頼度スコアと自己評価フレームワークを提案する。 第2に, 教師付き微調整 (SFT) では, 最大線量推定による信頼度が良好であるのに対し, 強化学習法 (PPO, GRPO) とDPOは報酬利用による過剰信頼度を誘導する。 第3に,RL学習モデルにおける信頼性回復のための自己蒸留を用いたポストRL SFTを提案する。 実験の結果, GRPOとDPOは信頼性を低下させる一方, SFTは平均信頼度AUROCを0.806から0.879に改善し, Qwen3-4Bではキャリブレーション誤差を0.163から0.034に低減した。 モデルが信頼を欠いた場合のコンテキストを選択的に検索する適応的検索拡張生成(RAG)を用いて、58倍の検索操作しか使用せず、TriviaQA上で達成可能な最大精度ゲインの95%を回復する実用的価値を実証した。

関連論文リスト

• BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
  本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。 本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:58:51Z)
• Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation [7.3923284353934875]
  本稿では,大規模言語モデル(LLM)出力の正しさと密接に一致したRAGシステムにおける信頼度推定手法を提案する。 提案手法は、生のフィードフォワードネットワーク(FFN)を自己回帰信号として活用することにより、事前の不確実性定量化手法を拡張した。 我々の結果は、アクティベーションに基づく信頼度モデリングが、信頼性の高いRAGデプロイメントへのスケーラブルでアーキテクチャを意識したパスを提供することを示した。
  論文  参考訳（メタデータ） (2025-10-15T16:55:56Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Overconfidence in LLM-as-a-Judge: Diagnosis and Confidence-Driven Solution [20.607071807794195]
  大規模言語モデル(LLM)は自動化された判断として広く使われており、実際的な価値は正確さと信頼性の高いリスク認識の判断の両方に依存する。 既存のアプローチは主に正確さに焦点を合わせ、よく校正された信頼の必要性を見越す。 我々は、精度中心の評価から信頼性駆動型、リスク対応型LCM-as-a-Judgeシステムへの移行を提唱する。
  論文  参考訳（メタデータ） (2025-08-08T11:11:22Z)
• The Confidence Paradox: Can LLM Know When It's Wrong [5.445980143646736]
  Document Visual Question Answering (DocVQA)モデルは、しばしば過信または倫理的に不一致な応答を生成する。 重み付き損失とコントラスト学習を用いてモデルの信頼度と正しさを一致させるモデルに依存しない自己教師型フレームワークであるHonestVQAを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:06:54Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。