論文の概要: From token probabilities to calibrated confidence: An empirical study of mathematical question answering

• arxiv url: http://arxiv.org/abs/2608.07827v1
• Date: Sat, 08 Aug 2026 00:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.525035
• Title: From token probabilities to calibrated confidence: An empirical study of mathematical question answering
• Title（参考訳）: トークン確率から校正信頼へ:数学的質問応答の実証的研究
• Abstract要約: 以前の研究によると、トークンの確率は過信されることが多い。 トークン確率を元の世代から再利用するシングルパス推定器とマルチパス推定器を比較した。 完全列上の集合トークン確率は、正しい世代と不正確な世代の間に小さいが一貫した差を捉えている。
• 参考スコア（独自算出の注目度）: 1.0032961794537367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Confidence estimation for large language models (LLMs) aims to estimate the probability that a generated answer is correct, while calibration aligns these estimates with empirical accuracy. Prior work has shown that token probabilities are often overconfident, we investigate whether these readily available signals can nevertheless provide well-calibrated confidence estimation for mathematical question answering. We compare single-pass estimators, which reuse token probabilities from the original generation, with multi-pass estimators, which obtain additional confidence signals through verification or stochastic forward passes. While individual token probabilities can be highly saturated, we find that aggregating token probabilities over the full sequence captures small but consistent differences between correct and incorrect generations, yielding more informative confidence estimates. Multi-pass methods can yield calibrated confidence estimates. We study two such approaches: self-verification through re-prompting, including a lower-cost in-situ variant, and Monte Carlo Dropout, which derives confidence from variation across stochastic forward passes. We further evaluate two post-hoc calibration methods, Platt scaling and isotonic regression, both of which substantially reduce in-domain calibration error. However, their data efficiency varies with dataset difficulty, and the calibration mappings often transfer asymmetrically across datasets and models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の信頼度推定は、生成した回答が正しい確率を推定することを目的としており、キャリブレーションはこれらの推定値を経験的精度で一致させる。 従来の研究では、トークン確率が過度に信頼されていることが示されており、これらの手軽に利用できる信号が、数学的な質問応答に対して、よく校正された信頼度を推定できるかどうかを調査している。 トークン確率を元の世代から再利用するシングルパス推定器とマルチパス推定器を比較し,検証や確率フォワードパスを通じてさらなる信頼信号を得る。 個々のトークン確率は高度に飽和するが、全列上のトークン確率の集約は、正しい世代と間違った世代の間に小さいが一貫した差を捉え、より情報的な信頼推定をもたらす。 マルチパス法は、キャリブレーションされた信頼度を推定できる。 本研究では, 確率的前方パスの変動から信頼性を導出するモンテカルロ・ドロップアウトと, 低コストなin-situ変種を含む再プロンプトによる自己検証の2つの手法について検討する。 さらに,2つのポストホックキャリブレーション法,Plattスケーリングとアイソトニックレグレッションを評価し,どちらも領域内キャリブレーション誤差を大幅に低減させる。 しかし、データの効率はデータセットの難しさによって異なり、キャリブレーションマッピングはしばしばデータセットやモデル間で非対称に転送される。

関連論文リスト

• DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
  ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
  論文  参考訳（メタデータ） (2026-08-21T03:48:25Z)
• Post-Calibration Reliability Reranking of Relevance Decisions via Label-wise Monotone Projection [35.67041829703622]
  Web検索、製品検索、質問応答検索システムは、関連ラベルと信頼度スコアを各クエリ候補ペアに割り当てることが多い。 不正な信頼がシステムが誤った予測を過度に信頼したり、不必要に正しい予測を遅らせたりする可能性があるため、ポストホックキャリブレーションが必要である。 このギャップをラベルワイドモノトン信頼性投影 (MRP) で解決し、ラベルワイドモノトン関数を学習し、信頼度を正しさの信頼性にマップする。
  論文  参考訳（メタデータ） (2026-08-11T02:51:35Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Geometric Calibration and Neutral Zones for Uncertainty-Aware Multi-Class Classification [0.0]
  この研究は情報幾何学と統計的学習を橋渡しし、厳密な検証を必要とするアプリケーションにおいて不確実性を認識した分類の正式な保証を提供する。 アデノ関連ウイルスの分類に関する実証的な検証は、2段階のフレームワークが72.5%のエラーをキャプチャし、34.5%のサンプルを遅延させ、自動決定エラー率を16.8%から6.9%に下げていることを示している。
  論文  参考訳（メタデータ） (2025-11-26T01:29:49Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• On double-descent in uncertainty quantification in overparametrized models [24.073221004661427]
  不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。 最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。 これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:01:08Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。