論文の概要: Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence

• arxiv url: http://arxiv.org/abs/2610.22139v1
• Date: Thu, 15 Oct 2026 16:12:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.18579
• Title: Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence
• Title（参考訳）: LLMは確かか? 修復と信頼性の検証
• Abstract要約: 信頼性フレームワークであるRADAR(Repair, Adopt, and Diagnose After Recalibration)を紹介します。 RADARは、スカラースコアが表現できることを修復し、エビデンスによってサポートされた場合にのみ修復を採用し、リカバリが残した系統的なエラーを診断する、原則化されたワークフローを提供する。
• 参考スコア（独自算出の注目度）: 5.331469232678577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Confidence scores determine whether an LLM answer is accepted, reviewed, or regenerated, yet scalar recalibration can only correct errors visible through the score itself. We introduce RADAR (Repair, Adopt, and Diagnose After Recalibration), a reliability framework that separates confidence repair from deciding whether to deploy the repair and auditing the errors that remain. Under squared loss, we decompose prediction risk into outcome noise, information hidden by the score, and mapping error; restricting repair to order-preserving maps additionally introduces a pooling gap. For repair, we propose Probe-Anchored Isotonic Calibration (PAIC), which learns a monotone map from correctness-probe predictions on unlabeled target prompts. PAIC's excess risk depends on the probe's score-conditional bias and fitting error rather than its overall accuracy. For adoption, we derive a paired procedure with finite-sample control of false improvements. For auditing, we develop a prompt-clustered kernel test that detects feature-aligned residual errors while accounting for dependent answers from the same prompt. Across multiple LLM checkpoints, benchmarks, and distribution shifts, richer predictors can improve confidence estimation, but projecting their information back to a scalar score can lose these gains, and lower prediction risk need not yield better review decisions. Across 47,400 replayed raw-score allocations, paired betting adopts candidates with lower held-out test risk in 42.95% of allocations, versus 15.09% for one-sided empirical Bernstein. RADAR thus provides a principled workflow to repair what a scalar score can express, adopt a repair only when supported by evidence, and diagnose systematic errors that recalibration leaves behind. Code and data will be released upon acceptance.
• Abstract（参考訳）: 信頼スコアは、LCMの回答が受け入れられるか、レビューされたか、あるいは再生されたかを決定するが、スカラー再校正はスコア自体を通して見える誤りを修正できるのみである。 信頼性フレームワークであるRADAR(Repair, Adopt, and Diagnose After Recalibration)を紹介します。 正方形損失下では、予測リスクを結果ノイズ、スコアに隠された情報、マッピングエラーに分解する。 修復のために,未ラベルのターゲットプロンプトの精度・確率予測からモノトーンマップを学習するPAIC(Probe-Anchored Isotonic Calibration)を提案する。 PAICの過剰リスクは、全体的な精度よりも、プローブのスコア条件バイアスと適合誤差に依存する。 採用するために、偽改善の有限サンプル制御によるペア化手順を導出する。 監査のために,同一のプロンプトからの従属応答を考慮しつつ,特徴整列残差を検知するプロンプトクラスタリングカーネルテストを開発した。 複数のLSMチェックポイント、ベンチマーク、分散シフトを通じて、よりリッチな予測器は信頼度推定を改善することができるが、スカラースコアに情報を投影することはこれらの利得を失う可能性がある。 47,400リプレイされた生スコアのアロケーションでは、ペアベッティングは42.95%のアロケーションでホールトアウトテストリスクの低い候補を採用するが、一方的な経験的ベルンシュタインでは15.09%である。 RADARは、スカラースコアが表現できることを修復し、エビデンスによってサポートされた場合にのみ修復を適用し、リカバリが残した系統的なエラーを診断する、原則化されたワークフローを提供する。 コードとデータは受理時にリリースされる。

関連論文リスト

• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• Securing quantum error correction against misleading advice from AI agents [0.0]
  我々は、回復選択を妨げるパッシブシンドローム記録の曖昧さを同定する。 キャリブレーション測定が不確実性およびドリフト下でのリカバリ更新にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2026-09-16T17:26:54Z)
• Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
  大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
  論文  参考訳（メタデータ） (2026-08-23T16:09:54Z)
• Post-Calibration Reliability Reranking of Relevance Decisions via Label-wise Monotone Projection [35.67041829703622]
  Web検索、製品検索、質問応答検索システムは、関連ラベルと信頼度スコアを各クエリ候補ペアに割り当てることが多い。 不正な信頼がシステムが誤った予測を過度に信頼したり、不必要に正しい予測を遅らせたりする可能性があるため、ポストホックキャリブレーションが必要である。 このギャップをラベルワイドモノトン信頼性投影 (MRP) で解決し、ラベルワイドモノトン関数を学習し、信頼度を正しさの信頼性にマップする。
  論文  参考訳（メタデータ） (2026-08-11T02:51:35Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
  異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。 UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。 ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2025-09-01T13:14:58Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。