論文の概要: RL-ARC: Calibrating Large Reasoning Models via Reasoning-guided Uncertainty

• arxiv url: http://arxiv.org/abs/2610.11352v1
• Date: Thu, 08 Oct 2026 06:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.841991
• Title: RL-ARC: Calibrating Large Reasoning Models via Reasoning-guided Uncertainty
• Title（参考訳）: RL-ARC:共振誘導不確かさによる大共振モデルの校正
• Abstract要約: 言語モデル(LM)は、推論能力を高めるために、一般的にRLVR(Reinforcement Learning with Verifiable Rewards)を用いて訓練されている。 不確実性推定の目標をトレーニングに組み込んだ最近のLMの校正対応訓練法は校正を改善しつつも,分布シフト下では過信感を示す。 RL-ARCは,推論信頼度と回答信頼度を協調的に活用するキャリブレーション対応トレーニングフレームワークである。
• 参考スコア（独自算出の注目度）: 5.394937386285535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) are commonly trained with Reinforcement Learning with Verifiable Rewards (RLVR) to enhance their reasoning capabilities. However, since RLVR does not explicitly account for calibration during training, it can lead to severe calibration degradation, including overconfidence. Recent calibration-aware training methods for LMs, which incorporate objectives for uncertainty estimation into training, improve calibration but still exhibit overconfidence under distribution shift, while sacrificing reasoning performance. To this end, we propose RL-ARC, a calibration-aware training framework that jointly leverages reasoning confidence and answer confidence. Specifically, RL-ARC leverages reasoning confidence as an auxiliary signal for calibrating answer confidence, applying it as reasoning-guided regularization for correct cases and as an overconfidence penalty for incorrect cases. Comprehensive results across ID and OOD settings show that, beyond improving calibration, RL-ARC enables reasoning models to adaptively estimate confidence based on the given question without substantially sacrificing reasoning performance, thereby highlighting the importance of reasoning confidence for training reliable reasoning models.
• Abstract（参考訳）: 言語モデル(LM)は、推論能力を高めるために、一般的にRLVR(Reinforcement Learning with Verifiable Rewards)を用いて訓練されている。 しかし、RLVRはトレーニング中のキャリブレーションを明示的に考慮していないため、過信を含む深刻なキャリブレーション低下につながる可能性がある。 不確実性推定をトレーニングに組み込んだ最近のLMの校正対応訓練法では, 校正精度は向上するが, 分散シフト下では信頼性が増し, 推論性能が損なわれている。 そこで本研究では,推論信頼度と回答信頼度を併用した校正対応学習フレームワークRL-ARCを提案する。 具体的には、RL-ARCは、推論信頼度を解答信頼度を調整するための補助信号として活用し、正しい場合の推論誘導正則化と誤の場合の過度なペナルティとして適用する。 ID と OOD 設定の総合的な結果から、RL-ARC はキャリブレーションの改善の他に、推論モデルにより推論性能を著しく犠牲にすることなく、与えられた質問に基づいて信頼度を適応的に推定することが可能であり、信頼性のある推論モデルのトレーニングにおいて、推論信頼度の重要性を強調している。

関連論文リスト

• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards [71.19033708090389]
  Reinforcement Learning from Verifiable Rewards (RLVR) は、大きな言語モデル(LLM)推論を著しく強化するが、校正劣化に苦しむ。 推論と校正の目的を体系的に分離するフレームワークであるDCPOを提案する。
  論文  参考訳（メタデータ） (2026-03-10T02:47:59Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning [10.123352394689134]
  よく校正された信頼性により、下流のシステムは、いつモデルを信頼するか、いつフォールバックメカニズムを延期するかを決定できる。 RLVRはタスク性能を向上するが、極めて自信過剰なモデルを生成する。 本稿では,意思決定確率を直接調整するキャリブレーション対応強化学習の定式化を提案する。
  論文  参考訳（メタデータ） (2026-01-19T18:31:31Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Thinking Out Loud: Do Reasoning Models Know When They're Right? [25.683190106676893]
  大規模推論モデル(LRM)は、最近、複雑な推論タスクにおいて印象的な機能を示した。 本研究では,LRMが他のモデル行動とどのように相互作用するかを,言語的信頼度を解析することによって検討する。 推論モデルには、知識境界に対する認識の低下がある可能性がある。
  論文  参考訳（メタデータ） (2025-04-09T03:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。