論文の概要: Probability is Not Enough: Exploring and Counting Divergent Tokens for Reasoning Uncertainty Quantification in LLMs

• arxiv url: http://arxiv.org/abs/2609.38070v1
• Date: Tue, 29 Sep 2026 17:33:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.787947
• Title: Probability is Not Enough: Exploring and Counting Divergent Tokens for Reasoning Uncertainty Quantification in LLMs
• Title（参考訳）: 確率は十分ではない: LLMにおける不確実性定量の推論のための分岐トークンの探索と数え方
• Abstract要約: 大規模言語モデルの信頼性を推定する現在の手法は、一般に選択されたキートークンの確率に基づいている。 2つのモデルが強く反対するトークンを数えることによって信頼性を推定するフレームワークであるDivergent Token Confidence(DTC)を紹介する。
• 参考スコア（独自算出の注目度）: 19.305400976811107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the chain-of-thought reasoning capabilities of large language models improve, evaluating and calibrating their reasoning confidence is becoming increasingly important for quantifying the uncertainty of their answers. Current methods for estimating the confidence of large language models are generally based on probabilities of selected key tokens, but the underlying mechanism remains unclear. Our pilot study finds that replacing selected token probabilities with coarse substitutes can also improve calibration, motivating us to further explore effective signals of model confidence. We introduce Divergent Token Confidence (DTC), a framework that estimates confidence by counting tokens at which two models strongly disagree during decoding. DTC identifies these divergent tokens using the Jensen-Shannon divergence between next-token distributions evaluated along the same reasoning trajectory. We find that their count is almost negatively associated with answer accuracy, thereby serving as a simple yet effective signal for uncertainty quantification. DTC supports both white-box and black-box evaluation using auxiliary models, without explicit training and affecting the generation process. Experiments across multiple model families and six mathematical benchmarks demonstrate improved calibration over probability-based and verbalized baselines. Under white-box evaluation, the count-only estimator achieves an average expected calibration error of 13.0%, compared with 32.7%-42.4% for standard full-sequence confidence methods. In black-box settings, it also improves calibration over the original verbalized scores. For example, mean expected calibration error falls from 32.1%-40.2% to 13.7%-16.3% on DeepSeek-V3.2. These findings provide new insights for improving reasoning uncertainty quantification in large language models. The code is released at https://github.com/szu-tera/DTC.git.
• Abstract（参考訳）: 大きな言語モデルの連鎖推論能力が向上するにつれて、その推論の信頼性を評価し、調整することが、答えの不確実性を定量化する上でますます重要になっている。 大規模言語モデルの信頼性を推定するための現在の手法は、一般に選択されたキートークンの確率に基づいているが、その基盤となるメカニズムはいまだ不明である。 パイロットスタディでは、選択したトークンの確率を粗い代用品に置き換えることで、キャリブレーションを改善し、モデル信頼性の効果的なシグナルをさらに探究する動機となった。 本稿では,デコード時に2つのモデルが強く反対するトークンを数えることによって信頼性を推定するフレームワークであるDivergent Token Confidence(DTC)を紹介する。 DTCは、同じ推論軌道に沿って評価された次トーケン分布間のJensen-Shannon分散を用いて、これらの発散トークンを同定する。 これらの数値は解答精度とほぼ負の相関関係にあり、不確実性定量化のための単純かつ効果的な信号として機能する。 DTCは補助モデルを用いたホワイトボックスとブラックボックスの評価の両方をサポートしており、明示的なトレーニングや生成プロセスに影響を与えることはない。 複数のモデルファミリと6つの数学的ベンチマークによる実験は、確率ベースおよび言語ベースラインに対するキャリブレーションの改善を示す。 ホワイトボックス評価では、カウントオンリー推定器は平均キャリブレーション誤差が13.0%であり、標準のフルシーケンス信頼法では32.7%-42.4%である。 ブラックボックス設定では、元の発声スコアの校正も改善される。 例えば、平均的なキャリブレーション誤差は、DeepSeek-V3.2で32.1%-40.2%から13.7%-16.3%に低下する。 これらの結果は、大規模言語モデルにおける推論の不確実性定量化を改善するための新たな洞察を与える。 コードはhttps://github.com/szu-tera/DTC.gitで公開されている。

関連論文リスト

• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• From token probabilities to calibrated confidence: An empirical study of mathematical question answering [1.0032961794537367]
  以前の研究によると、トークンの確率は過信されることが多い。 トークン確率を元の世代から再利用するシングルパス推定器とマルチパス推定器を比較した。 完全列上の集合トークン確率は、正しい世代と不正確な世代の間に小さいが一貫した差を捉えている。
  論文  参考訳（メタデータ） (2026-08-08T00:00:19Z)
• When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
  本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。 我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。 マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
  論文  参考訳（メタデータ） (2026-07-31T21:13:02Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• Are We Overconfident in Models and Results for Semi-Supervised 3D Medical Image Segmentation? [4.120238673372104]
  半教師付き学習は、アノテーションのコストを削減する主要なパラダイムとなっている。 現在の進歩は2倍の過信問題によって曇っていると我々は主張する。 本稿では,二軸信頼性評価エンジン上に構築した三空間原理分割フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:16:40Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning [15.597220136913258]
  LYNXはオンラインのアーリーエグジットメカニズムで、モデル自身の隠れ状態の認識を信頼性制御による停止決定に変換する。 一般的な数学的コーパスで一度このプローブをトレーニングして校正し、ベンチマーク、復号化温度、さらには非数学的なタスクで再利用します。
  論文  参考訳（メタデータ） (2025-12-05T00:04:42Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。