論文の概要: Reinforcement Learning for Better Verbalized Confidence in Long-Form Generation

• arxiv url: http://arxiv.org/abs/2505.23912v1
• Date: Thu, 29 May 2025 18:05:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.611356
• Title: Reinforcement Learning for Better Verbalized Confidence in Long-Form Generation
• Title（参考訳）: 長期的生成における言語的信頼性向上のための強化学習
• Authors: Caiqi Zhang, Xiaochen Zhu, Chengzu Li, Nigel Collier, Andreas Vlachos,
• Abstract要約: 本稿では,Long-form Verbalized Confidence (Long-form Verbalized Confidence) を提案する。 具体的には、強化学習(RL)を用いてLLMを訓練し、各生成された文に数値信頼度スコアを付加する。 実験の結果,RL学習モデルによりキャリブレーションの精度が向上し,領域全体にわたって強固に一般化できることがわかった。
• 参考スコア（独自算出の注目度）: 27.811765400370838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination remains a major challenge for the safe and trustworthy deployment of large language models (LLMs) in factual content generation. Prior work has explored confidence estimation as an effective approach to hallucination detection, but often relies on post-hoc self-consistency methods that require computationally expensive sampling. Verbalized confidence offers a more efficient alternative, but existing approaches are largely limited to short-form question answering (QA) tasks and do not generalize well to open-ended generation. In this paper, we propose LoVeC (Long-form Verbalized Confidence), an on-the-fly verbalized confidence estimation method for long-form generation. Specifically, we use reinforcement learning (RL) to train LLMs to append numerical confidence scores to each generated statement, serving as a direct and interpretable signal of the factuality of generation. Our experiments consider both on-policy and off-policy RL methods, including DPO, ORPO, and GRPO, to enhance the model calibration. We introduce two novel evaluation settings, free-form tagging and iterative tagging, to assess different verbalized confidence estimation methods. Experiments on three long-form QA datasets show that our RL-trained models achieve better calibration and generalize robustly across domains. Also, our method is highly efficient, as it only requires adding a few tokens to the output being decoded.
• Abstract（参考訳）: 幻覚は、事実上のコンテンツ生成において、大規模言語モデル(LLM)の安全で信頼性の高いデプロイにおいて、依然として大きな課題である。 これまでの研究は、幻覚検出の効果的なアプローチとして、信頼度推定を検討してきたが、しばしば計算に高価なサンプリングを必要とするポストホック自己整合法に依存している。 言語化された信頼はより効率的な代替手段を提供するが、既存のアプローチはショートフォームの質問応答(QA)タスクに限られており、オープン・エンド・ジェネレーションには適さない。 本稿では,Long-form Verbalized Confidence (Long-form Verbalized Confidence) を提案する。 具体的には、強化学習(RL)を用いて、LLMを訓練し、生成した各ステートメントに数値的信頼度スコアを付加し、生成の事実性の直接的かつ解釈可能な信号として機能する。 本実験では, DPO, ORPO, GRPOなど, 法外RL法と法外RL法を併用して, モデルの校正性の向上を図る。 本稿では,2つの新しい評価設定,自由形式のタグ付けと反復的なタグ付けを導入し,異なる言語的信頼度推定法を評価する。 3つの長期QAデータセットによる実験により、我々のRL学習モデルによりキャリブレーションが向上し、ドメイン間で堅牢に一般化できることが示された。 また,出力の復号化にいくつかのトークンを追加するだけでよいため,本手法は非常に効率的である。

関連論文リスト

• Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models [34.59785123314865]
  LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。 そこで本研究では,LLMを直接微調整し,評価された信頼度を,実際の質問に対する回答とともに表現できる新しい強化学習手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T13:48:50Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
  Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。 本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Scaling Test-Time Compute Without Verification or RL is Suboptimal [70.28430200655919]
  RL法や検索法に基づく検証器ベース (VB) 手法による微調整は, 一定量の計算・データ予算を条件として, 蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。 我々は,3/8Bの事前学習型LLMのドクティクスと数学推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。
  論文  参考訳（メタデータ） (2025-02-17T18:43:24Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
  本稿では,大規模言語モデルによって生成された複数の出力の自己整合性に基づいて,応答正当性を評価するための補助学習モデルを提案する。 提案手法は,複数応答間の一致を表現するために整合性グラフを構築し,グラフニューラルネットワーク(GNN)を用いて各応答の正しさを推定する。
  論文  参考訳（メタデータ） (2024-11-03T20:36:44Z)
• Calibrating Large Language Models Using Their Generations Only [44.26441565763495]
  APRICOT は、信頼目標を設定し、テキスト入力と出力のみに基づいて LLM の信頼度を予測する追加モデルを訓練する手法である。 概念的には単純で、出力以上のターゲットモデルへのアクセスを必要とせず、言語生成に干渉せず、多くの潜在的な使用法を持っている。 閉書質問応答における白箱と黒箱のLCMの校正誤差を考慮し,誤ったLCMの解答を検出する方法として,本手法の競合性を示す。
  論文  参考訳（メタデータ） (2024-03-09T17:46:24Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)
• Fast Entropy-Based Methods of Word-Level Confidence Estimation for End-To-End Automatic Speech Recognition [86.21889574126878]
  本研究では,フレーム単位のエントロピー値を正規化して集約し,単位単位当たりの信頼度と単語毎の信頼度を求める方法を示す。 提案手法をLibriSpeechテストセット上で評価した結果,最大フレーム当たりの信頼度推定値の最大値から,信頼度推定値の最大値の最大値の最大値の最大値の最大値の2倍,4倍の精度を示した。
  論文  参考訳（メタデータ） (2022-12-16T20:27:40Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。