論文の概要: From Entropy to Calibrated Uncertainty: Training Language Models to Reason About Uncertainty

• arxiv url: http://arxiv.org/abs/2603.06317v1
• Date: Fri, 06 Mar 2026 14:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.894287
• Title: From Entropy to Calibrated Uncertainty: Training Language Models to Reason About Uncertainty
• Title（参考訳）: エントロピーから校正された不確かさ:言語モデルから不確かさに関する推論まで
• Authors: Azza Jenane, Nassim Walha, Lukas Kuhn, Florian Buettner,
• Abstract要約: 解釈可能で校正された不確実性を表現できる大規模言語モデル(LLM)は、高い領域において不可欠である。 そこで我々は,LLM後の3段階パイプラインを提案し,その応答に対する不確実性評価を効率的に推定する。 実験により、パイプラインでトレーニングされたモデルは、ベースラインよりもキャリブレーションが良く、さらなる処理をすることなく、目に見えないタスクに一般化できることが示された。
• 参考スコア（独自算出の注目度）: 9.798854302346802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) that can express interpretable and calibrated uncertainty are crucial in high-stakes domains. While methods to compute uncertainty post-hoc exist, they are often sampling-based and therefore computationally expensive or lack calibration. We propose a three-stage pipeline to post-train LLMs to efficiently infer calibrated uncertainty estimates for their responses. First, we compute fine-grained entropy-based uncertainty scores on the training data, capturing the distributional variability of model outputs in embedding space. Second, these scores are calibrated via Platt scaling, producing reliable and human-interpretable uncertainty signals. Finally, the target LLM is post-trained via reinforcement learning to align its policy with these calibrated signals through a verifiable reward function. Unlike post-hoc uncertainty estimation methods, our approach provides interpretable and computationally efficient uncertainty estimates at test time. Experiments show that models trained with our pipeline achieve better calibration than baselines and generalize to unseen tasks without further processing, suggesting that they learn a robust uncertainty reasoning behavior.
• Abstract（参考訳）: 解釈可能で校正された不確実性を表現できる大規模言語モデル(LLM)は、高い領域において不可欠である。 不確実性ポストホックを計算する方法は存在するが、しばしばサンプリングベースであり、計算コストがかかるかキャリブレーションの欠如がある。 そこで我々は,LLM後の3段階パイプラインを提案し,その応答に対する不確実性評価を効率的に推定する。 まず, モデル出力の分布変動を推定し, 学習データに対する微粒なエントロピーに基づく不確実性スコアを計算する。 第二に、これらのスコアはプラッツのスケーリングによって校正され、信頼性と人間の解釈可能な不確実性信号を生成する。 最後に、目標LLMは強化学習を介して後学習され、検証可能な報酬関数を介して、これらの校正信号とポリシーを整合させる。 ポストホック不確実性推定法とは異なり、本手法はテスト時に解釈可能かつ計算効率の良い不確実性推定を行う。 実験により、パイプラインでトレーニングされたモデルは、ベースラインよりもキャリブレーションが良く、さらなる処理をせずに見えないタスクに一般化できることが示され、堅牢な不確実性推論の振る舞いを学ぶことが示唆された。

関連論文リスト

• Calibrating LLM Judges: Linear Probes for Fast and Reliable Uncertainty Estimation [25.80946316489521]
  本稿では,Brierスコアに基づく損失をトレーニングした線形プローブを導入し,審査員の隠蔽状態から不確実性を校正した推定値を提供する。 我々は,目的的タスク(推論,数学,事実性,コーディング)と主観的人間の選好判断の両方に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-12-23T22:08:46Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Error-Driven Uncertainty Aware Training [7.702016079410588]
  Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。 画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
  論文  参考訳（メタデータ） (2024-05-02T11:48:14Z)
• Calibrated Uncertainty Quantification for Operator Learning via Conformal Prediction [95.75771195913046]
  本稿では, リスク制御型量子ニューラル演算子, 分布のない有限サンプル機能キャリブレーション等式予測法を提案する。 関数領域上の点の期待値として定義されるカバレッジ率に関する理論的キャリブレーションを保証する。 2次元ダーシー流と3次元自動車表面圧力予測タスクに関する実験結果から,我々の理論的結果が検証された。
  論文  参考訳（メタデータ） (2024-02-02T23:43:28Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
  本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。 提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。 提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
  論文  参考訳（メタデータ） (2022-12-14T17:34:11Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• Improving model calibration with accuracy versus uncertainty optimization [17.056768055368384]
  適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。 精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。 平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
  論文  参考訳（メタデータ） (2020-12-14T20:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。