論文の概要: Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training

• arxiv url: http://arxiv.org/abs/2610.12933v1
• Date: Fri, 09 Oct 2026 03:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.373266
• Title: Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
• Title（参考訳）: 学習の教訓から学ぶ:訓練後の効果的な推論のための不確実性ガイド付きプログレッシブ・コントラクト
• Abstract要約: 本稿では,学習に最も有用な推論軌跡に監督と最適化を集中させる,不確実性誘導型プログレッシブ・コンダクション・フレームワークを提案する。 提案手法は,完全データ SFT の最適化予算の 0.22% しか使用せず,450 倍以上のトレーニング露出を削減し,推論性能の維持や改善を図っている。
• 参考スコア（独自算出の注目度）: 47.44458839484906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have achieved remarkable advances in complex reasoning. However, scaling reasoning post-training with ever-larger corpora can substantially increase training cost without proportional performance gains. In this study, we therefore ask: how far can reasoning supervision be compressed without sacrificing capability? To this end, we propose an uncertainty-guided progressive contraction framework that concentrates supervision and optimization on the reasoning trajectories most valuable for learning. Specifically, rather than treating a teacher-generated chain-of-thought (CoT) as a single realized path, we construct uncertainty-profiled reasoning supervision by building Monte Carlo reasoning trees around intermediate reasoning states to expose process-level uncertainty. This uncertainty first contracts the original corpus into a compact teacher-informed pool. A second, learner-aware contraction then performs online routing during SFT, concentrating optimization according to the student's evolving learning state. Together, the two stages progressively contract both supervision and optimization, substantially reducing the student training budget. Experiments across diverse reasoning benchmarks and LLM families show that our method uses as little as 0.22% of the optimization budget of full-data SFT, over 450x less training exposure, while maintaining or improving reasoning performance. Notably, our framework generalizes well across heterogeneous student families, black-box teachers, and weak-to-strong transfer. This indicates that it is not only a way to accelerate training but can also enhance reasoning capability.
• Abstract（参考訳）: 大規模言語モデルは複雑な推論において顕著な進歩を遂げた。 しかし、超大型コーパスによる学習後推論のスケーリングは、比例的な性能向上を伴わずにトレーニングコストを大幅に向上させることができる。 そこで本研究では, 監視を犠牲にすることなく, どの程度の間, 監視を圧縮できるかを問う。 そこで本研究では,学習に最も有用な推論軌道の監督と最適化に集中する,不確実性誘導型プログレッシブ・コンダクション・フレームワークを提案する。 具体的には、教師生成のチェーン・オブ・シント(CoT)を単一実現経路として扱うのではなく、中間的推論状態の周りにモンテカルロ推論ツリーを構築し、プロセスレベルの不確実性を明らかにすることによって、不確実な推論監視を構築する。 この不確実性は、最初のコーパスをコンパクトな教師インフォームドプールにコントラクトする。 第2の学習者対応契約は、SFT中にオンラインルーティングを行い、学生の進化する学習状態に応じて最適化に集中する。 この2つの段階は、監督と最適化の両方を段階的に契約し、学生の訓練予算を大幅に削減した。 各種推論ベンチマークとLLMファミリーを対象とした実験により,本手法は完全データSFTの最適化予算の0.22%をわずかに使用し,450倍以上のトレーニング露出を低減し,推論性能の維持や改善を実現していることがわかった。 特に,この枠組みは異質な学生家族,ブラックボックスの教師,弱強転校などに広く浸透している。 これは、トレーニングを加速するだけでなく、推論能力を高めることができることを示している。

関連論文リスト

• CARE: Competence-Aware Reward Shaping for Adaptive Reasoning Length in Video-MLLMs [50.189987475377656]
  マルチモーダル推論における適応推論長最適化のための能力認識型報酬形成フレームワークであるCAREを提案する。 CAREは、パスレートの指数的な移動平均を通したスムーズなコンピテンス推定を維持し、それを訓練を進行段階にルートするために利用する。 複数のビデオ推論と一般的なビデオ理解ベンチマークの実験により、CAREは推論精度を一貫して改善し、強化学習を安定化し、トークン効率を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-06-18T08:28:26Z)
• From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models [66.95781712577315]
  視覚言語モデル(VLM)における知覚と推論の相互作用について、3つの異なる訓練段階に分解して検討する。 提案手法を用いてトレーニングしたモデルでは,20.8%の精度で推論精度が1.5%向上した。
  論文  参考訳（メタデータ） (2026-05-19T17:58:40Z)
• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning [50.185363583880225]
  InftyThink+は大規模な推論モデルのためのエンドツーエンドの強化学習フレームワークである。 InftyThink+は精度を21%向上し、従来の長鎖強化学習よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-06T18:59:27Z)
• TACLer: Tailored Curriculum Reinforcement Learning for Efficient Reasoning [24.04507196574173]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著なパフォーマンスを示している。 本稿では,モデル化されたカリキュラム強化学習フレームワークであるTACLerを提案する。 TACLerには2つの中核的なコンポーネントがある: (i) モデルにどの知識が欠けているのかを判断し、段階的に学ぶ必要がある調整されたカリキュラム学習; (ii) シンキングモードを有効にまたは無効にすることで正確性と効率のバランスをとるハイブリッド思考/ノーシンキング推論パラダイム。
  論文  参考訳（メタデータ） (2026-01-29T13:40:35Z)
• Beyond Scaling Law: A Data-Efficient Distillation Framework for Reasoning [10.186434946738201]
  大規模言語モデル(LLM)は、アルゴリズムコーディングや数学的問題解決といったタスクにおいて顕著な推論能力を示す。 近年の手法では,強化学習と教師付き微調整を組み合わせた多段階学習による推論が改良されている。
  論文  参考訳（メタデータ） (2025-08-13T15:32:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。