論文の概要: Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts

• arxiv url: http://arxiv.org/abs/2609.34857v1
• Date: Mon, 28 Sep 2026 10:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:11:40.914304
• Title: Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts
• Title（参考訳）: Verbalized Confidenceを超えて - 読み出し可能なReasonerの校正
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
• 参考スコア（独自算出の注目度）: 57.65087348754571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) trains reasoning models to produce correct answers, but does not ensure that their stated confidence is calibrated. The resulting models are systematically overconfident. Recent methods train calibration inside the RLVR loop by having the model state a numerical confidence alongside its answer, but they all obtain the confidence by sampling it as text. This choice imposes two costs: a sampled confidence introduces variance and in practice collapses to a handful of distinct values, and sampling makes the confidence non-differentiable, forcing the calibration loss through a scalar reward. We propose CREDO (Confidence REaDOut) to replace sampling with a deterministic readout. While RLVR optimizes correctness, CREDO reads the confidence from a dedicated token pair in the model's output distribution and trains it by differentiable regression. CREDO further turns the trained confidence into a signal for accuracy, weighting rollouts by how far confidence and outcome disagree, so that accuracy and calibration improve together. Across mathematical and code reasoning, CREDO attains the best accuracy and calibration, and the gains extend to abstention and selective prediction.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 結果のモデルは体系的に過信される。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 この選択は2つのコストを課す: 標本化された信頼はばらつきを導入し、実際にはいくつかの異なる値に崩壊する。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。 RLVRは正確性を最適化するが、CREDOはモデルの出力分布における専用トークンペアからの信頼を読み出し、異なる回帰でトレーニングする。 CREDOはさらに、トレーニングされた信頼度を精度の信号に変換し、信頼性と結果がどの程度一致しないかによってロールアウトを重み付けすることで、正確性と校正が共に改善される。 数学的およびコード推論全体にわたって、CREDOは最高の精度とキャリブレーションを獲得し、利得は棄却と選択的予測にまで拡張される。

関連論文リスト

• Shared Experience, Separate Learning: Companion Confidence Calibration for LLMs [72.45153081761715]
  本研究では,能力向上とともに信頼度が学習されるエンファンコンカレント信頼度校正について検討する。 隠れ状態のロールアウトや検証者による正当性監視から軽量なコンパニオンを訓練する textbfCoCal を導入する。 Qwen3-8BとQwen3-14Bの実験は、タスク性能を犠牲にすることなく、CoCalが信頼性評価を改善することを示した。
  論文  参考訳（メタデータ） (2026-09-27T16:25:09Z)
• On the Pitfalls of Verbalized Confidence Priors for Calibrating Large Reasoning Models [22.050654396594492]
  市販のLEMは,RL全体にわたって持続するいくつかの高い値に大きく集中する前に,信頼性を示すことを示す。 本稿では、RLの前に広く支持される前に、キャリブレーションされた信頼度を形成するプラグイン・アンド・プレイの微調整ステージであるCalibSFTを提案する。
  論文  参考訳（メタデータ） (2026-09-26T11:00:45Z)
• DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
  ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
  論文  参考訳（メタデータ） (2026-08-21T03:48:25Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning [10.123352394689134]
  よく校正された信頼性により、下流のシステムは、いつモデルを信頼するか、いつフォールバックメカニズムを延期するかを決定できる。 RLVRはタスク性能を向上するが、極めて自信過剰なモデルを生成する。 本稿では,意思決定確率を直接調整するキャリブレーション対応強化学習の定式化を提案する。
  論文  参考訳（メタデータ） (2026-01-19T18:31:31Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。