論文の概要: On the effectiveness of reward functions in reinforcement learning for confidence calibration of large language models

• arxiv url: http://arxiv.org/abs/2607.04332v1
• Date: Sun, 05 Jul 2026 14:29:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.902782
• Title: On the effectiveness of reward functions in reinforcement learning for confidence calibration of large language models
• Title（参考訳）: 大言語モデルの信頼度校正のための強化学習における報酬関数の有効性について
• Authors: Chee Heng Tan, Zhuoyi Lin, Mehul Motani, Wee Sun Lee,
• Abstract要約: 大規模言語モデル(LLM)は強化学習(RL)を用いて学習し、推論精度を向上し、その信頼性を言葉で表す。 不十分な設計の報酬スキームでは、LSMはその答えが本当に間違っていると確信できるように、誤った答えをインセンティブを与えることができる。 提案手法は,非ハック性に設計されていない報奨スキームを持つ実用的なデータセットにおいて,選択的信頼報酬ハッキングが発生することを実証する。
• 参考スコア（独自算出の注目度）: 20.6833323492387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we consider the setting where large language models (LLMs) are trained using reinforcement learning (RL) to simultaneously improve reasoning accuracy and verbalize its confidence. Our reward scheme uses two functions for rewarding confidence verbalized by the LLM: one when the LLM is correct and a different one when the LLM is incorrect. With a poorly designed reward scheme, the LLM may be incentivized to answer incorrectly so that it can be confident that its answer is indeed incorrect, a phenomenon that we call confidence reward hacking. We propose the concept of non-hackable confidence reward schemes and define a spectrum of such reward schemes for RL confidence calibration training in LLMs. We demonstrate that selective confidence reward hacking can occur in practical datasets with reward schemes that are not designed to be non-hackable. We also demonstrate that the reward scheme with the best calibration to accuracy tradeoff depends on the dataset and the application, and propose using the reward scheme as a hyperparameter to optimize the tradeoffs in accordance to what is important for the application. The code of our experiments is available in https://anonymous.4open.science/r/rl-confidence-calibration-9ED4/README.md.
• Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) を強化学習 (RL) を用いて訓練し,推論精度を向上し,その信頼性を言葉で表す環境について考察する。 我々の報奨スキームは、LLMが正しい場合とLLMが間違っている場合の2つの信頼を報奨する2つの機能を利用する。 不十分な設計の報酬スキームでは、LCMは誤った答えをインセンティブを得て、その答えが本当に間違っていると確信することができる。 本稿では,LLMの信頼性校正訓練において,非ハック不能な信頼報酬スキームの概念を提案し,そのような報酬スキームのスペクトルを定義した。 提案手法は,非ハック性に設計されていない報奨スキームを持つ実用的なデータセットにおいて,選択的信頼報酬ハッキングが発生することを実証する。 また,最適キャリブレーションによる報奨方式がデータセットとアプリケーションに依存することを示すとともに,この報奨方式をハイパーパラメータとして用いて,アプリケーションにとって重要なものに応じてトレードオフを最適化する手法を提案する。 実験のコードはhttps://anonymous.4open.science/r/rl-confidence-calibration-9ED4/README.mdで公開されている。

関連論文リスト

• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
  Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。 CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。 本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:51:47Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models [34.59785123314865]
  LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。 そこで本研究では,LLMを直接微調整し,評価された信頼度を,実際の質問に対する回答とともに表現できる新しい強化学習手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T13:48:50Z)
• Learning to Route LLMs with Confidence Tokens [43.63392143501435]
  大規模言語モデル(LLM)は、いくつかのタスクにおいて印象的なパフォーマンスを示し、現実のアプリケーションにますますデプロイされている。 高精細度設定では、LCMの出力がいつ信頼できないかを知ることが不可欠となる。 本研究では,LLMが回答の信頼度を確実に示すことができる範囲と,この信頼度の概念が下流の精度向上にどのように変換できるかを考察する。
  論文  参考訳（メタデータ） (2024-10-17T07:28:18Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。