論文の概要: Shared Experience, Separate Learning: Companion Confidence Calibration for LLMs

• arxiv url: http://arxiv.org/abs/2609.33721v1
• Date: Sun, 27 Sep 2026 16:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:18:39.382772
• Title: Shared Experience, Separate Learning: Companion Confidence Calibration for LLMs
• Title（参考訳）: 共有体験と個別学習:LLMにおけるコンパニオン信頼度校正
• Abstract要約: 本研究では,能力向上とともに信頼度が学習されるエンファンコンカレント信頼度校正について検討する。 隠れ状態のロールアウトや検証者による正当性監視から軽量なコンパニオンを訓練する textbfCoCal を導入する。 Qwen3-8BとQwen3-14Bの実験は、タスク性能を犠牲にすることなく、CoCalが信頼性評価を改善することを示した。
• 参考スコア（独自算出の注目度）: 72.45153081761715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable self-assessment is essential for large language models (LLMs), yet they often remain highly confident when their answers are wrong. We study \emph{concurrent confidence calibration}, where confidence is learned alongside capability improvement rather than calibrated only after training. Reinforcement learning from verifiable rewards (RLVR) provides a natural setting for this paradigm, as it continuously produces responses paired with verifiable correctness feedback. Existing concurrent methods, however, learn both capability and confidence through reinforcement learning within shared policy parameters, potentially coupling two fundamentally different learning problems. We instead propose \emph{shared experience but separate learning}: capability and confidence learn from the same trajectories, but through separate optimization mechanisms and parameters. Based on this principle, we introduce \textbf{CoCal (Companion Confidence Calibration)}, which trains a lightweight companion from rollout hidden states and verifier-derived correctness supervision while leaving task optimization unchanged. Experiments on Qwen3-8B and Qwen3-14B show that CoCal improves confidence estimation without sacrificing task performance, outperforming both RL-based concurrent methods and matched post-hoc calibration. The learned companion further generalizes across domains and policy shifts, while the benefits of CoCal persist at both scales.
• Abstract（参考訳）: 信頼性の高い自己評価は、大きな言語モデル(LLM)には不可欠だが、答えが間違っている場合、高い自信を保ち続けることが多い。 本研究では,訓練後にのみ校正されるのではなく,能力向上とともに信頼度が学習される「emph{concurrent confidence calibration」について検討する。 検証可能な報酬(RLVR)からの強化学習は、検証可能な正確性フィードバックと組み合わせた応答を継続的に生成するため、このパラダイムに自然な設定を提供する。 しかし、既存の並行手法は、共有ポリシーパラメータ内の強化学習を通じて能力と信頼性の両方を学習し、基本的に異なる2つの学習問題を結合する可能性がある。 能力と信頼性は同じ軌道から学習するが、個別の最適化機構とパラメータを通して学習する。 この原則に基づき,タスク最適化をそのまま残しながら,隠れ状態のロールアウトから軽量なコンパニオンをトレーニングし,検証者による正当性監視を行う「textbf{CoCal (Companion Confidence Calibration)」を導入する。 Qwen3-8B と Qwen3-14B の実験により,CoCal はタスク性能を犠牲にすることなく信頼性を向上し,RL ベースの並列手法と一致したポストホックキャリブレーションの両方に優れていた。 学習したコンパニオンはドメインとポリシーシフトをまたいでさらに一般化し、CoCalのメリットは両スケールで持続する。

関連論文リスト

• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models [34.59785123314865]
  LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。 そこで本研究では,LLMを直接微調整し,評価された信頼度を,実際の質問に対する回答とともに表現できる新しい強化学習手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T13:48:50Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation [18.815226646364476]
  大規模言語モデル(LLM)の既存のキャリブレーション手法は、「集団知恵」を最大限に活用することなく、個人の信頼度を推定または引き出すことに重点を置いている。 我々は,複数ツール強化LDMエージェントの協調的・表現的能力を活用した,ポストホックトレーニングフリーキャリブレーション戦略であるCollaborativeを提案する。
  論文  参考訳（メタデータ） (2024-04-14T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。