論文の概要: From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation

• arxiv url: http://arxiv.org/abs/2607.12687v1
• Date: Tue, 14 Jul 2026 12:15:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.138599
• Title: From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation
• Title（参考訳）: 批判から信頼へ:信頼推定を用いた言語に基づく定量的予測のためのPPO
• Abstract要約: LLMは、構造化されていない入力から言語ベースの定量的予測を行うことができるが、幻覚や過度に信ずる誤りの影響を受けやすいままである。 本稿では,不確実性推定のための損失予測とアクタクリティカルなPPO微調整の関連性を確立するための強化学習フレームワークであるCARE-PPOを紹介する。 CARE-PPOは、高い定量的予測性能を達成しつつ、批評家による信頼度推定を著しく改善する。
• 参考スコア（独自算出の注目度）: 5.656836494285984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs can perform language-based quantitative prediction from unstructured inputs, but remain susceptible to hallucinations and overconfident errors, making it critical to know not only what a model predicts, but when its predictions can be trusted. We introduce CARE-PPO, a reinforcement learning framework that establishes a connection between loss prediction for uncertainty estimation and actor-critic PPO fine-tuning, enabling joint learning of accurate numerical estimates and reliable confidence signals in language-based quantitative prediction. CARE-PPO uses a Confidence-Aligned Reward for Estimation, defined as a function of prediction error, to provide dense error-aware feedback to the actor while inducing the critic to learn a value function aligned with prediction quality. During inference, we repurpose the critic as a confidence estimator. Across two real-world tasks in healthcare and finance and two Qwen-3 model scales (4B and 8B), CARE-PPO achieves strong quantitative prediction performance, while producing significantly better-aligned confidence estimates through the critic than logit-based and verbalized baselines. These gains persist under realistic out-of-distribution settings across domains, spanning linguistic and domain shifts. Finally, CARE-PPO reduces task-specific overfitting on general instruction-following prompts, consistent with the broader generalization advantages of RL fine-tuning over supervised approaches.
• Abstract（参考訳）: LLMは、構造化されていない入力から言語に基づく定量的な予測を行うことができるが、幻覚や過信的な誤りの影響を受けやすいままであり、モデルが何を予測するかだけでなく、いつその予測が信頼されるかを知ることが重要である。 本稿では,不確実性推定のための損失予測とアクタクリティカルなPPO微調整の関連性を確立するための強化学習フレームワークであるCARE-PPOを紹介する。 CARE-PPOは、予測誤差の関数として定義された信頼性アラインド・リワード(Confidence-Aligned Reward for Estimation)を使用して、アクターに密度の高いエラー認識フィードバックを提供すると同時に、批評家に予測品質に整合した値関数を学習させる。 推測中、我々は批評家を信頼度推定者として再評価する。 医療とファイナンスにおける2つの現実的タスクと2つのQwen-3モデルスケール(4Bと8B)において、CARE-PPOは強力な定量的予測性能を達成し、ロジットベースおよび言語ベースラインよりも、批評家による信頼度を著しく向上させる。 これらの利益は、言語とドメインのシフトにまたがって、ドメイン間の現実的なアウト・オブ・ディストリビューション設定の下で持続する。 最後に、CARE-PPOは一般的な命令追従プロンプトに対するタスク固有のオーバーフィッティングを減らし、教師付きアプローチよりもRLファインチューニングのより広範な一般化の利点と一致する。

関連論文リスト

• Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis [57.78407973423517]
  我々は、モデルが人間の不一致を反映した不確実性を表現しながら予測する不確実性を考慮した主観性分析を提唱する。 この視点を運用するために,二相認識と不確実性アライメントの枠組みを提案する。 3つの主観的分析課題の実験は、DPUAが人間の不一致とモデルの不確実性をよりよく整合させながら、タスク性能を保っていることを示している。
  論文  参考訳（メタデータ） (2026-05-11T11:52:58Z)
• The Forecast Critic: Leveraging Large Language Models for Poor Forecast Identification [74.64864354503204]
  本稿では,Large Language Models (LLM) を利用した予測自動監視システムであるThe Forecast Criticを提案する。 LLMの時系列予測品質を評価する能力を評価する。 合成および実世界の予測データを含む3つの実験を行った。
  論文  参考訳（メタデータ） (2025-12-12T21:59:53Z)
• Analyzing Uncertainty of LLM-as-a-Judge: Interval Evaluations with Conformal Prediction [13.958280616597385]
  本研究は,LLMに基づくスコアリングの予測間隔を共形予測によって提供することにより,不確実性を分析するための最初の枠組みを示す。 我々は,共形予測がカバレッジ保証付きで有効な予測間隔を提供できることを示す広範な実験と分析を行う。
  論文  参考訳（メタデータ） (2025-09-23T05:26:28Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• FOReCAst: The Future Outcome Reasoning and Confidence Assessment Benchmark [11.149409619312827]
  FOReCAstはモデルを予測し、その信頼性を評価するためのベンチマークである。 ブール問題、時間枠予測、量推定を含む様々な予測シナリオにまたがる。 実世界のアプリケーションに対して、予測精度と信頼性校正の両方を包括的に評価する。
  論文  参考訳（メタデータ） (2025-02-27T01:36:00Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• Beyond Uncertainty Quantification: Learning Uncertainty for Trust-Informed Neural Network Decisions - A Case Study in COVID-19 Classification [7.383605511698832]
  信頼性の高い不確実性定量化は、医学的診断のような高い評価の応用において重要である。 従来の不確実性定量化法は、予測を自信または不確実性として分類するために、予め定義された信頼しきい値に依存する。 このアプローチは、しきい値を超える予測は信頼に値するが、それ以下の予測は信頼性の高い予測の正確性を明確に評価することなく不確実であると仮定する。 本研究では,予測の信頼度を学習することで,従来の不確実性定量化を拡張した不確実性認識型ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-09-19T04:20:12Z)
• CONFINE: Conformal Prediction for Interpretable Neural Networks [2.7477752332019256]
  解釈型ニューラルネットワーク(CONFINE)のコンフォーマル予測について紹介する。 CONFINEは、モデルの透明性と信頼性を高めるために、点予測の代わりに統計的に堅牢な不確実性推定を備えた予測セットを生成する。 この結果から,CONFINEは従来の手法よりも最大3.3%高い精度を達成できることが判明した。
  論文  参考訳（メタデータ） (2024-06-01T19:34:48Z)
• Unifying Gradient Estimators for Meta-Reinforcement Learning via Off-Policy Evaluation [53.83642844626703]
  オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。 本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
  論文  参考訳（メタデータ） (2021-06-24T15:58:01Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。