論文の概要: Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency

• arxiv url: http://arxiv.org/abs/2609.31619v1
• Date: Fri, 25 Sep 2026 17:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.532619
• Title: Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
• Title（参考訳）: 立ち止まることを学ぶ: 自己監督された信頼トレーニングは推論効率を向上する
• Abstract要約: 推論モデルは、しばしば非常に長い推論トレースを生成し、推論を計算的に高価にする。 我々は,テキスト信頼という,異なる種類の監督から,実質的な効率向上が生まれることを示した。 我々は,600の学習問題のみを用いて,中間点における回答の信頼度を予測するための推論モデルを微調整する。
• 参考スコア（独自算出の注目度）: 47.90124236602071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning models often generate very long reasoning traces, making inference computationally expensive. Existing approaches typically improve efficiency either through inference-time early-stopping mechanisms or by explicitly encouraging shorter reasoning during training, for example through reinforcement learning with length penalties. We show that substantial efficiency gains can instead emerge from a different kind of supervision: \textit{confidence}. Using a self-supervised procedure, we fine-tune reasoning models to predict their confidence in the answer at intermediate points along their own reasoning trajectories using only 600 training problems. Confidence is used only as a training target: the loss contains no objective for reasoning length, efficiency, or stopping. At inference, the fine-tuned models use the standard generation procedure, with no confidence elicitation or early-stopping mechanism. Despite this, self-supervised confidence fine-tuning makes reasoning more efficient, reducing generated tokens by up to 25\% at matched accuracy across Gemma, Qwen, Nemotron, and GPT-OSS models on mathematical, scientific, and coding reasoning benchmarks, with efficiency gains comparable to methods that explicitly optimize for shorter reasoning. Analysis of reasoning episodes further shows that confidence supervision largely preserves the base models' high-level reasoning composition rather than selectively suppressing particular behaviors. Our results suggest that efficient reasoning may emerge as a downstream consequence of learning metacognitive signals, without being directly optimized.
• Abstract（参考訳）: 推論モデルは、しばしば非常に長い推論トレースを生成し、推論を計算的に高価にする。 既存のアプローチは典型的には、推論時の早期停止機構を通じて効率を改善するか、トレーニング中のより短い推論を明示的に奨励することによって、例えば、長さのペナルティを持つ強化学習を通じて効率を向上する。 代わりに、かなりの効率向上は、異なる種類の監督から生じる可能性があることを示します。 自己指導型推論モデルを用いて,600の学習問題を用いて,中間点における回答の信頼度を予測する。 信頼はトレーニング対象としてのみ使用され、損失には長さ、効率性、停止を推論する目的は含まれない。 推測では、微調整されたモデルは標準生成手順を使用し、信頼性の低下や早期停止機構がない。 これにもかかわらず、自己監督された信頼性の微調整により推論がより効率的になり、Gemma、Qwen、Nemotron、GPT-OSSの数学的、科学的、コーディング推論のベンチマークにおいて、生成されたトークンを一致した精度で最大25\%削減する。 推論エピソードの分析により、信頼性の監督は、特定の振る舞いを選択的に抑制するのではなく、ベースモデルの高レベルの推論組成をほとんど保持していることが明らかとなった。 本研究は, メタ認知信号の学習において, 直接最適化されることなく, 効果的な推論が下流に現れることを示唆するものである。

関連論文リスト

• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Stabilizing Efficient Reasoning with Step-Level Advantage Selection [54.563811052329235]
  我々は,長さを意識しない標準のGRPOを用いて,短文のポストトレーニング単独で,すでにかなりの推理圧縮を誘導していることを示す。 そこで本稿では, 適切なロールアウトにおける低信頼度ステップと, 検証済みロールアウトにおける高信頼度ステップにゼロアドバンテージを割り当てるステップレベルアドバンテージ選択(SAS)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T03:34:59Z)
• Early Stopping for Large Reasoning Models via Confidence Dynamics [55.67938134245981]
  大きな推論モデルは複雑な問題を解決するために長い連鎖生成に依存している。 重要な課題は、いつモデルが推論を止めて最終回答を生み出すべきかを決定することです。 中間回答の信頼性のダイナミクスを利用して推論をいつ終了するかを判断する早期停止手法であるCoDE-Stopを提案する。
  論文  参考訳（メタデータ） (2026-04-06T17:59:45Z)
• Think Just Enough: Sequence-Level Entropy as a Confidence Signal for LLM Reasoning [5.37133760455631]
  推論タスクにおいて,大規模言語モデルにおいてトークン効率を向上する新しいエントロピーベースのフレームワークを提案する。 提案手法では,トークンレベルのログプロブからのシャノンエントロピーを信頼信号として使用し,早期停止を実現する。 エントロピーに基づく信頼度キャリブレーションは,事前学習後の最適化の創発的特性を示す。
  論文  参考訳（メタデータ） (2025-10-09T12:33:16Z)
• Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
  大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。 Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。 不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
  論文  参考訳（メタデータ） (2025-09-27T16:25:06Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。