論文の概要: Understanding and Mitigating Premature Confidence for Better LLM Reasoning

• arxiv url: http://arxiv.org/abs/2605.24396v1
• Date: Sat, 23 May 2026 04:42:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.029882
• Title: Understanding and Mitigating Premature Confidence for Better LLM Reasoning
• Title（参考訳）: LLM推論における早期信頼の理解と緩和
• Abstract要約: 現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
• 参考スコア（独自算出の注目度）: 76.16007941549857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long chains of thought (CoT) from current language models frequently contain logical gaps and unjustified leaps, limiting the gains from additional test-time compute. Improving reasoning quality directly would require process reward models, but the step-level annotations needed to train them are expensive and scarce. We find such a signal in how the model's confidence evolves during reasoning: premature confidence, the tendency to commit to an answer early and use the remaining tokens to rationalize it, strongly predicts flawed reasoning across tasks and model scales. We exploit this in progressive confidence shaping, a reinforcement learning objective that trains models to update their confidence as they reason rather than commit early -- rewarding gradual confidence growth and penalizing early commitment, with no external labels or reward models. The method improves accuracy and reasoning quality from 1.5B to 8B parameters across arithmetic (Countdown), math (DAPO, AIME), and science (ScienceQA): on Countdown, accuracy improves 3.2x (+42.0pp) and flawed reasoning drops 48pp; on AIME, Pass@64 improves 6.6pp. Consistent with this mechanism, the method also improves faithfulness: on a safety benchmark, our models more transparently surface misleading content in their reasoning traces rather than concealing it. Controlled experiments reveal that the problem and its remedy scale together: premature confidence grows with model size and task difficulty, and so do the gains from addressing it.
• Abstract（参考訳）: 現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでおり、追加のテスト時間計算による利得を制限する。 推論品質を直接改善するにはプロセス報酬モデルが必要ですが、それらをトレーニングするために必要なステップレベルのアノテーションは高価で不足しています。 早期の信頼、早期の回答にコミットする傾向、そして残りのトークンを合理化するために使用する傾向、タスクやモデルスケールにわたる欠陥のある推論を強く予測する。 これは、モデルを早期にコミットするのではなく、モデルの信頼性を更新するように訓練する強化学習目標であり、段階的な信頼成長と早期のコミットメントへの報奨であり、外部ラベルや報酬モデルはない。 この方法は、算術(Countdown)、数学(DAPO、AIME)、科学(ScienceQA)にまたがる1.5Bから8Bパラメータの精度と推論品質を改善し、カウントダウンでは精度が3.2倍(+42.0pp)、欠点のある推論ドロップが48pp、AIMEではPass@64が6.6ppである。 このメカニズムと一致して、この手法は忠実性も向上する。安全ベンチマークでは、私たちのモデルは、それらを隠蔽するのではなく、推論トレースに誤解を招くコンテンツを透過的に表面化する。 早期の信頼度はモデルのサイズやタスクの難しさとともに増大し、それに対応することで得られる。

関連論文リスト

• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Confidence-Orchestrated Self-Evolution against Uncertain LLM Feedback [8.780008955074967]
  自己進化型大規模言語モデル(LLM)は、独自のトレーニングタスクとソリューションを生成し、人事監督への依存を減らすことで学習する。 我々は,LLMの本質的信頼度を軽度不確実性信号として用いて学習を変調するCOSE(Confidence-Orchestrated Self-Evolution)を提案する。
  論文  参考訳（メタデータ） (2026-05-27T06:07:10Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Early Stopping for Large Reasoning Models via Confidence Dynamics [55.67938134245981]
  大きな推論モデルは複雑な問題を解決するために長い連鎖生成に依存している。 重要な課題は、いつモデルが推論を止めて最終回答を生み出すべきかを決定することです。 中間回答の信頼性のダイナミクスを利用して推論をいつ終了するかを判断する早期停止手法であるCoDE-Stopを提案する。
  論文  参考訳（メタデータ） (2026-04-06T17:59:45Z)
• Thinking, Faithful and Stable: Mitigating Hallucinations in LLMs [0.4115305983711515]
  大規模言語モデル(LLM)のための自己修正フレームワークを開発する。 最終回答の正しさのみに頼るのではなく、細かな不確実性信号を利用する。 我々は不当な高信頼とエントロピースパイクをペナル化する複合報酬関数を設計する。
  論文  参考訳（メタデータ） (2025-11-19T23:09:26Z)
• Think Just Enough: Sequence-Level Entropy as a Confidence Signal for LLM Reasoning [5.37133760455631]
  推論タスクにおいて,大規模言語モデルにおいてトークン効率を向上する新しいエントロピーベースのフレームワークを提案する。 提案手法では,トークンレベルのログプロブからのシャノンエントロピーを信頼信号として使用し,早期停止を実現する。 エントロピーに基づく信頼度キャリブレーションは,事前学習後の最適化の創発的特性を示す。
  論文  参考訳（メタデータ） (2025-10-09T12:33:16Z)
• Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
  大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。 Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。 不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
  論文  参考訳（メタデータ） (2025-09-27T16:25:06Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Reasoning Models Better Express Their Confidence [43.29929311958733]
  大規模言語モデル(LLM)は、信頼を正確に伝達できないことが多い。 拡張チェーン・オブ・シークレット(CoT)推論に携わる推論モデルは優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-05-20T15:19:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。