論文の概要: On the Pitfalls of Verbalized Confidence Priors for Calibrating Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2609.32470v1
• Date: Sat, 26 Sep 2026 11:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:49:27.530391
• Title: On the Pitfalls of Verbalized Confidence Priors for Calibrating Large Reasoning Models
• Title（参考訳）: 大規模推論モデルの校正に先立つ言語的信頼の落とし穴について
• Abstract要約: 市販のLEMは,RL全体にわたって持続するいくつかの高い値に大きく集中する前に,信頼性を示すことを示す。 本稿では、RLの前に広く支持される前に、キャリブレーションされた信頼度を形成するプラグイン・アンド・プレイの微調整ステージであるCalibSFTを提案する。
• 参考スコア（独自算出の注目度）: 22.050654396594492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large reasoning models (LRMs) often suffer from overconfidence when expressing their uncertainty. Confidence-aware reinforcement learning (RL) offers a promising way to optimize calibration. However, it relies on on-policy rollouts and is thus constrained by the model's pre-RL confidence distribution, which we term confidence prior. In this work, we reveal that off-the-shelf LRMs exhibit a confidence prior heavily concentrated on a few high values, which persists throughout RL. Theoretically, we prove that this concentration suppresses policy gradient updates for rarely sampled confidence values and inflates the lower bound on expected Brier risk. To overcome this exploration bottleneck, we propose CalibSFT, a plug-and-play supervised fine-tuning stage that shapes a calibrated confidence prior with broad support before RL. For each question, CalibSFT constructs confidence targets combining its success rate with response-level correctness, which provably preserves proper-scoring optimality, and then balances training responses across the confidence spectrum to enable diverse confidence exploration during RL. To learn from incorrect responses without imitating their reasoning, CalibSFT introduces correctness-conditional supervision, guiding confidence across all responses while supervising reasoning only on correct ones. Across 16 mathematical and general reasoning benchmarks, incorporating CalibSFT reduces calibration errors and improves discrimination across five representative RL algorithms while preserving comparable accuracy. Furthermore, CalibSFT delivers practical benefits for downstream selective prediction and model routing. Our code is available at https://github.com/ml-stat-Sustech/verbalized-confidence-training.
• Abstract（参考訳）: 大きな推論モデル(LRM)は、不確実性を表現する際に、しばしば過剰な自信に悩まされる。 信頼性を考慮した強化学習(RL)はキャリブレーションを最適化する有望な方法である。 しかし、それは政治上のロールアウトに依存しており、従ってモデルの事前RL信頼分布に制約される。 本研究により, 市販のLEMは, RL全体にわたって持続するいくつかの高い値に強く依存する前に, 信頼性を示すことが明らかとなった。 理論的には、この濃度は、稀にサンプリングされた信頼値に対する政策勾配の更新を抑制し、期待されるブライアリスクの低い境界を膨らませる。 この探索ボトルネックを克服するために,RLの前に広く支持される前に校正された信頼を形作るプラグイン・アンド・プレイの微調整ステージであるCalibSFTを提案する。 それぞれの質問に対して、CalibSFTは成功率と応答レベルの正しさを組み合わせた信頼目標を構築し、適切なスコア付けの最適性を確実に保持し、信頼スペクトル間でトレーニング応答のバランスを取り、RL中の多様な信頼調査を可能にする。 推論を模倣することなく誤った応答から学ぶために、CalibSFTは正当性条件の監視を導入し、すべての応答に対する信頼を導きながら、正しい応答のみを監視します。 CalibSFTを取り入れた16の数学的および一般的な推論ベンチマークは、キャリブレーションエラーを低減し、5つの代表的なRLアルゴリズムの識別を改善しながら、同等の精度を維持している。 さらに、CalibSFTは下流選択予測とモデルルーティングに実用的な利点を提供する。 私たちのコードはhttps://github.com/ml-stat-Sustech/verbalized-confidence-trainingで利用可能です。

関連論文リスト

• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• Post-Training Shifts Confidence: A Three-Stage Analysis of How SFT, RL, and OPD Shape CoT Calibration [20.813380812371637]
  本稿では,3段階のキャリブレーション・フレームワークを導入する。 SFTは早期停止のための最強のオンライン信号を提供し、RLは最も信頼性の高いトレースレベル信号を生成する。 位置認識型信頼戦略であるPosConfを提案する。
  論文  参考訳（メタデータ） (2026-07-15T12:12:37Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection [0.0]
  大規模言語モデル(LLM)は、ますます重要な意思決定システムにデプロイされている。 出力アンカートークン確率に基づく正規化信頼スコアを導入する。 これにより、最小限のオーバーヘッドでエラーや幻覚を直接検出できる。
  論文  参考訳（メタデータ） (2026-02-18T07:05:12Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。