論文の概要: Rewarding Doubt: A Reinforcement Learning Approach to Confidence Calibration of Large Language Models

• arxiv url: http://arxiv.org/abs/2503.02623v1
• Date: Tue, 04 Mar 2025 13:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:02.626422
• Title: Rewarding Doubt: A Reinforcement Learning Approach to Confidence Calibration of Large Language Models
• Title（参考訳）: Rewarding Doubt: 大規模言語モデルの信頼性校正のための強化学習アプローチ
• Authors: Paul Stangel, David Bani-Harouni, Chantal Pellegrini, Ege Özsoy, Kamilia Zaripova, Matthias Keicher, Nassir Navab,
• Abstract要約: LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。 本稿では,LLMキャリブレーションのためのReinforcement Learning (RL) アプローチを提案する。
• 参考スコア（独自算出の注目度）: 34.59785123314865
• License:
• Abstract: A safe and trustworthy use of Large Language Models (LLMs) requires an accurate expression of confidence in their answers. We introduce a novel Reinforcement Learning (RL) approach for LLM calibration that fine-tunes LLMs to elicit calibrated confidence estimations in their answers to factual questions. We model the problem as a betting game where the model predicts a confidence score together with every answer, and design a reward function that penalizes both over and under-confidence. We prove that under our reward design an optimal policy would result in a perfectly calibrated confidence estimation. Our experiments demonstrate significantly improved confidence calibration and generalization to new tasks without re-training, indicating that our approach teaches a general confidence awareness. This approach enables the training of inherently calibrated LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。 我々は,LLM校正のための新しい強化学習(Reinforcement Learning, RL)手法を導入する。 我々は,モデルがすべての回答とともに信頼度を予測し,信頼度と信頼度の両方を罰する報奨関数を設計する賭けゲームとしてこの問題をモデル化する。 報酬設計の下では、最適ポリシーが完全にキャリブレーションされた信頼度推定をもたらすことが証明される。 本実験は,再学習を伴わない新しいタスクに対する信頼度校正と一般化を著しく改善し,本手法が一般の信頼度を高めることを示唆している。 このアプローチは、本質的に校正されたLLMのトレーニングを可能にする。

関連論文リスト

• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
  本稿では,信頼度推定モデルを構築するための新しい手法を提案する。 重み付きグラフを用いて、質問に対する大きな言語モデルの応答の一貫性を表現します。 次に、正しい応答の確率を推定するためにグラフニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2024-11-03T20:36:44Z)
• Learning to Route LLMs with Confidence Tokens [43.63392143501436]
  大規模言語モデルが回答の信頼性を確実に示すことができる範囲について検討する。 本稿では,LLMの信頼性を確実に表現するための軽量トレーニング戦略であるSelf-REFを提案する。 信頼度を言語化したり、トークンの確率を調べるといった従来の手法と比較して、信頼度トークンは下流のルーティングや拒否学習タスクにおいて著しく改善されていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-17T07:28:18Z)
• SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales [29.33581578047835]
  SaySelfは、大規模言語モデルに、より正確なきめ細かな信頼推定を表現するためのトレーニングフレームワークである。 さらに、SaySelf は LLM に対して、パラメトリック知識のギャップを明確に識別する自己反射的合理性を生成するよう指示する。 生成した自己反射的理性は合理的であり、キャリブレーションにさらに貢献できることを示す。
  論文  参考訳（メタデータ） (2024-05-31T16:21:16Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
  我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。 品質報酬と秩序保存アライメント報酬機能を統合する。 実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-26T09:42:46Z)
• Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
  ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。 実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
  論文  参考訳（メタデータ） (2024-02-27T01:37:23Z)
• Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
  大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。 我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。 提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:52:42Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。