論文の概要: CalibraRL: Confidence-Calibrated Reinforcement Learning for Mitigating Hallucinations in RAG
- arxiv url: http://arxiv.org/abs/2610.35142v1
- Date: Mon, 26 Oct 2026 10:11:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.822295
- Title: CalibraRL: Confidence-Calibrated Reinforcement Learning for Mitigating Hallucinations in RAG
- Title（参考訳）: CalibraRL:RAGにおける幻覚の緩和のための信頼度校正強化学習
- Abstract要約: 大規模言語モデル(LLM)は、しばしば妥当だが誤った答えを生み出す。
固定結果に基づく報酬は、信頼レベルが異なる誤った反応を区別したり、答えの信頼性の違いを考慮に入れたりしない。
本稿では、応答信頼度とクエリレベルの応答エビデンスを報酬設計に組み込んだ強化学習フレームワークであるCalibraRLを提案する。
- 参考スコア（独自算出の注目度）: 24.598044386822508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) often produce plausible but incorrect answers, motivating reinforcement learning methods that reward correct answers, penalize incorrect answers, and allow abstention. However, fixed outcome-based rewards do not distinguish incorrect responses with different confidence levels or account for differences in answering reliability across queries. Consequently, such rewards may inadequately penalize overconfident errors and fail to discourage unnecessary abstention. We propose CalibraRL, a reinforcement learning framework that incorporates response confidence and query-level answering evidence into reward design. For non-abstaining responses, CalibraRL combines correctness-based utility with a Brier-based penalty that encourages agreement between confidence and correctness. For abstentions, it estimates conditional answering reliability using a Beta posterior derived from the correctness of non-abstaining responses within each sampled group. The abstention reward increases with the posterior probability that the model's accuracy on non-abstaining responses is below a predefined threshold. CalibraRL reuses training rollouts without requiring additional annotations indicating whether the model knows the answer to each question. Experiments on three QA datasets demonstrate that CalibraRL improves answer precision and reduces hallucinations compared with strong baselines. Further analysis shows that CalibraRL reduces mean expected calibration error (ECE) by 30.8\% across two backbone models and three datasets, highlighting its potential to improve the reliability of retrieval-augmented generation (RAG) in web search.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、正しい答えを報酬し、不正確な答えを罰し、棄権を認める強化学習手法を動機づける。
しかし、固定結果に基づく報酬は、信頼レベルが異なる誤った応答を区別したり、クエリ間の回答信頼性の違いを考慮に入れたりしない。
その結果、そのような報酬は過度に自信過剰な誤りを罰し、不必要な棄権を防ぐことができない。
本稿では、応答信頼度とクエリレベルの応答エビデンスを報酬設計に組み込んだ強化学習フレームワークであるCalibraRLを提案する。
非持続的な応答に対して、CalibraRLは正確性に基づくユーティリティとBrierベースのペナルティを組み合わせることで、信頼性と正確性の間の合意を促進する。
留意点については, サンプル群内における非持続応答の正当性から導かれるベータ後部を用いて, 条件付き応答信頼性を推定する。
棄権報酬は、モデルが非持続応答における精度が予め定義された閾値以下であるという後続の確率で増加する。
CalibraRLはトレーニングロールアウトを再利用するが、モデルが各質問に対する回答を知っているかどうかを示す追加アノテーションは必要ない。
3つのQAデータセットの実験により、CalibraRLは解答精度を改善し、強いベースラインと比較して幻覚を減少させることが示された。
さらなる分析により、CalibraRLは2つのバックボーンモデルと3つのデータセットで平均キャリブレーション誤差(ECE)を30.8\%削減し、Web検索における検索強化世代(RAG)の信頼性を向上させる可能性を強調している。
関連論文リスト
- Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。
近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。
我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
論文 参考訳（メタデータ） (2026-09-28T10:47:41Z) - Geometry-Calibrated Conformal Abstention for Language Models [25.731621771885887]
無知を認めるためにモデルをトレーニングすることは、過度に保守的な行動を引き起こす可能性がある。
本稿では,コンフォメーション予測(CP)を応用したポストホックフレームワークであるConformal Abstention (CA)を提案する。
論文 参考訳（メタデータ） (2026-04-30T14:20:16Z) - Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL [18.462748083613757]
明確な意味を持つが、与えられた情報から確実に解決できないクエリについて検討する。
提案するRLVR報酬は,要求できないクエリに対して,明示的な棄却と意味論的に整合した事後明確化を報奨する。
この報酬を用いて、3BモデルであるAbstain-R1をトレーニングする。
論文 参考訳（メタデータ） (2026-04-18T17:21:40Z) - I-CALM: Incentivizing Confidence-Aware Abstention for LLM Hallucination Mitigation [2.688126466709795]
大規模言語モデル(LLM)は、自信はあるが誤った答えをしばしば生み出す。
モデルを変更することなく、即時のみの介入が幻覚リスクを低減できるかどうかを検討する。
結果から,本フレームワークは質問に対する選択的な回答を,再学習なしに改善できることが示された。
論文 参考訳（メタデータ） (2026-04-05T00:15:41Z) - Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。
モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。
我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
論文 参考訳（メタデータ） (2026-03-06T04:03:13Z) - Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation [12.503662455234954]
現代の言語モデルでは、誤った回答が破滅的な結果をもたらす場合でも、自信ある幻覚が生じることを示す。
RLVR(Reinforceed Hesitation)は,2進法ではなく3進法を用いた強化学習(Reinforcement Learning from Verifiable Rewards, RLVR)の修正である。
論文 参考訳（メタデータ） (2025-11-14T17:20:45Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Self-Aligned Reward: Towards Effective and Efficient Reasoners [16.740993145927774]
自己整合報酬 (Self-aligned reward, SAR) は、検証可能な報酬を補完し、推論精度と効率の両方を奨励する自己誘導信号である。
SARは, 正確さ, 正解スコアが冗長性よりも高く, 正解スコアが完全誤解よりも高いという, 解答品質を確実に区別することを示す。
論文 参考訳（メタデータ） (2025-09-05T20:39:43Z) - Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。
多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。
また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
論文 参考訳（メタデータ） (2025-07-22T17:56:01Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳（メタデータ） (2024-04-04T11:32:03Z) - Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence
Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。
出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
論文 参考訳（メタデータ） (2023-05-24T10:12:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。