論文の概要: Reinforcement Learning Done Right for Explicit Confidence Targets

• arxiv url: http://arxiv.org/abs/2610.35059v1
• Date: Mon, 26 Oct 2026 09:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.804871
• Title: Reinforcement Learning Done Right for Explicit Confidence Targets
• Title（参考訳）: 信頼度を高めるための強化学習
• Abstract要約: 大規模言語モデル (LLM) は、不確実性がある場合には、妥当だが不正確な答えを生成することができる。 RLEC(textbfReinforcement textbfLearning with textbfExplicit textbfConfidence Targets)を提案する。
• 参考スコア（独自算出の注目度）: 13.15639639370579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can produce plausible but incorrect answers when they are uncertain, which can mislead users and undermine model reliability. Training models to abstain with reinforcement learning is a natural approach, but most existing methods use a fixed error penalty and therefore cannot adapt their behavior to different confidence requirements at inference time. We study \emph{explicit confidence targets}, where a user specifies a target \(p\) in the prompt and the model directly chooses whether to answer or abstain, with the goal of achieving an accuracy of at least \(p\) among answered questions. However, learning to respond to different confidence targets with a single model has proven difficult, and prior attempts have failed to distinguish different targets. We show that this failure comes from two problems: the reward signal that distinguishes different values of $p$ is often lost during optimization, while the original error penalty grows without bound as $p$ approaches one. We propose RLEC (\textbf{R}einforcement \textbf{L}earning with \textbf{E}xplicit \textbf{C}onfidence Targets), which preserves the learning signal needed to distinguish confidence targets, introduces a stable reward family that keeps the desired answer condition unchanged, and uses reward scheduling to balance effective learning and training stability. Together, these designs enable the first successful training of a single LLM for explicit confidence target control. Extensive experiments across diverse benchmarks and model scales show that RLEC largely preserves general capabilities and achieves competitive calibration performance. RLEC also supports fine-grained target control without an external decision system or threshold calibration after training. By making explicit confidence targets part of the trained policy, RLEC opens a new and more direct path toward behavioral calibration.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、不確実性がある場合には、可塑性だが誤った回答を生成できるため、ユーザを誤解させ、モデルの信頼性を損なう可能性がある。 強化学習を廃止するトレーニングモデルは自然なアプローチであるが、既存のほとんどの手法では固定エラーペナルティを使用するため、推論時に異なる信頼要件にそれらの振る舞いを適用することはできない。 本研究では,ユーザがプロンプト内でターゲット \(p\) を指定し,モデルが答えるか否かを直接選択し,回答された質問のうち少なくとも \(p\) の精度を達成することを目標とする「emph{explicit confidence target}」について検討する。 しかし、1つのモデルで異なる信頼目標に対応することを学ぶことは困難であり、以前の試みでは異なる目標を区別できなかった。 この失敗は2つの問題から生じることを示す:$p$の異なる値を区別する報奨信号は、最適化中にしばしば失われるが、元のエラーペナルティは、$p$が1に近づくにつれて、制限なく増大する。 本稿では,RLEC(\textbf{R}einforcement \textbf{L}earning with \textbf{E}xplicit \textbf{C}onfidence Targets)を提案する。 これらの設計により、明確な信頼目標制御のための単一のLSMのトレーニングを初めて成功させることができる。 様々なベンチマークやモデルスケールにわたる大規模な実験により、RLECは一般的な能力を保ち、競争力のあるキャリブレーション性能を達成することが示されている。 RLECはまた、外部決定システムや訓練後のしきい値校正なしで、きめ細かい目標制御もサポートしている。 訓練された政策の一部に明確な信頼を目標にすることで、RLECは行動キャリブレーションへの新たな、より直接的な道を開く。

関連論文リスト

• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
  Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。 CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。 本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:51:47Z)
• Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models [34.59785123314865]
  LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。 そこで本研究では,LLMを直接微調整し,評価された信頼度を,実際の質問に対する回答とともに表現できる新しい強化学習手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T13:48:50Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。