論文の概要: Confidence Geometry Reveals Trace-Level Correctness in Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2605.16824v1
• Date: Sat, 16 May 2026 05:57:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.108645
• Title: Confidence Geometry Reveals Trace-Level Correctness in Large Language Model Reasoning
• Title（参考訳）: 信頼度幾何学が大規模言語モデル推論におけるトレースレベル正当性を明らかにする
• Authors: Shuo Liu, Ding Liu, Shi-Ju Ran,
• Abstract要約: 信頼性トラジェクトリは、誤った推論トレースから正解であることを示す。 正確性関連情報は推論の尾に富む。 本稿では,信頼度評価のための信頼軌道から学習する軽量な推定器であるNeuralConfを提案する。
• 参考スコア（独自算出の注目度）: 5.094079537924077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) generate not only reasoning text, but also token-level confidence trajectories that record how uncertainty evolves during inference. Whether these trajectories are relevant to reasoning correctness remains unclear. Here we show that confidence trajectories encode a content-agnostic confidence geometry associated with trace-level final-answer correctness. Using only token-level confidence values, without access to the input question, reasoning text, hidden states, or external verifiers, we find that low-dimensional representations of confidence trajectories separate correct from incorrect reasoning traces. Across GSM8K, MATH, and MMLU, this geometric separation is quantitatively linked to downstream predictability: stronger clustering of correct and incorrect traces, measured by the Davies--Bouldin index, consistently corresponds to higher correctness-discrimination AUC. We further show that correctness-related information is enriched in the tail of reasoning, suggesting that late-stage confidence dynamics carry key correctness signals. We propose NeuralConf, a lightweight estimator that learns from confidence trajectories for correctness evaluation. Under a fixed trace budget, NeuralConf-derived scores improve confidence-weighted answer aggregation over majority voting, tail confidence, and other static baselines. These results reveal that LLMs expose trace-intrinsic statistical signals of correctness through their own confidence dynamics, offering a route to improve inference using information already present within generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論テキストだけでなく、推論中に不確実性がどのように進化するかを記録するトークンレベルの信頼軌道を生成する。 これらの軌跡が正当性の推論に関係しているかどうかは不明である。 ここでは、信頼軌道が、トレースレベルの最終回答正当性に関連する内容に依存しない信頼幾何を符号化していることを示す。 入力された質問、推論テキスト、隠された状態、または外部の検証子にアクセスすることなく、トークンレベルの信頼値のみを用いることで、信頼軌道の低次元表現が誤った推論トレースと正しく区別されていることが分かる。 GSM8K, MATH, MMLU全体で、この幾何学的分離は下流の予測可能性と定量的に結びついている。 さらに、仮説の尾部において正当性関連情報が豊かであることを示し、後期の信頼度力学が重要な正当性信号を持っていることを示唆する。 本稿では,信頼度評価のための信頼軌道から学習する軽量な推定器であるNeuralConfを提案する。 固定されたトレース予算の下では、NeuralConf由来のスコアは、多数決、尾の信頼、その他の静的ベースラインよりも、信頼性に富んだ回答アグリゲーションを改善する。 これらの結果から, LLMは, 自己の信頼度を指標として, 信頼度と信頼度を推定し, 世代内に存在する情報を用いて推論を改善するための経路を提供することが明らかとなった。

関連論文リスト

• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• Confident in a Confidence Score: Investigating the Sensitivity of Confidence Scores to Supervised Fine-Tuning [13.193737353434152]
  教師付き微調整に対する感度を理解するために,信頼度スコアの基盤となる挙動について検討する。 その結果, 出力品質以外の要因による信頼度の変化に起因する様々な信頼度スコアの相関が低下していることが判明した。 この結果から,信頼性指標がテストなしでは使用できないこと,微調整がより堅牢なメトリクスの開発の必要性が示唆された。
  論文  参考訳（メタデータ） (2026-04-10T05:27:35Z)
• Closing the Confidence-Faithfulness Gap in Large Language Models [3.122242683664973]
  大規模言語モデルは、実際の精度から大きく切り離された信頼スコアを言語化する。 本稿では,言語的信頼度に関する機械論的解釈可能性分析について述べる。 本稿では,モデルの内部精度推定値を読み取る2段階適応型ステアリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2026-03-26T05:42:04Z)
• Thinking, Faithful and Stable: Mitigating Hallucinations in LLMs [0.4115305983711515]
  大規模言語モデル(LLM)のための自己修正フレームワークを開発する。 最終回答の正しさのみに頼るのではなく、細かな不確実性信号を利用する。 我々は不当な高信頼とエントロピースパイクをペナル化する複合報酬関数を設計する。
  論文  参考訳（メタデータ） (2025-11-19T23:09:26Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。