論文の概要: Curriculum Learning Teaches LLMs Long-Horizon Implicit Reasoning, Up To A Limit

• arxiv url: http://arxiv.org/abs/2610.25612v1
• Date: Mon, 19 Oct 2026 00:32:50 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:13:59.49107
• Title: Curriculum Learning Teaches LLMs Long-Horizon Implicit Reasoning, Up To A Limit
• Title（参考訳）: LLMのLong-Horizon Implicit Reasoningのカリキュラム学習
• Abstract要約: 暗黙の推論は、チェーン・オブ・ソート・ジェネレーションにおいて有用である。 暗黙的推論の弱いモデルは、間違ったパスにコミットする可能性が高い。 カリキュラム学習がこの深さを延長できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 4.842992050008156
• License:
• Abstract: LLMs "reason" by externalizing intermediate steps as tokens through chain-of-thought (CoT), yet even frontier reasoning models hit abrupt performance cliffs on long-horizon tasks. Implicit reasoning (reasoning within a single forward pass) is useful during CoT generation, as the model can "search ahead" to decide the correct next move without explicit search. Models with weak implicit reasoning are more likely to commit to wrong paths and must attempt to recover via backtracking, while models with strong implicit reasoning identify the correct proof strategy directly, shortening the CoT. However, prior work shows LLMs struggle to reason implicitly beyond shallow depths, with no relief from scale. We investigate whether curriculum learning can extend this depth by fine-tuning on examples with progressively increasing vocabulary size and lookahead (the number of steps a model must search ahead to identify the correct next move). At matched compute, curriculum-trained models achieve lookaheads where no-curriculum training fails. Qwen3-0.6B reaches 98% accuracy on problems with lookahead up to 256 with curriculum, compared to 45% without. However, progress slows as fine-tuning continues, following a saturating exponential that suggests a maximum intrinsic lookahead to which models can learn to reason implicitly. Larger models reach higher fitted ceilings, fine-tuning pretrained models far outpaces training from scratch, and curriculum step sizes that are too large stall progression. Finally, the capability acquired on synthetic data transfers to natural language reasoning, with curriculum-trained models outperforming models trained without curriculum at matched compute on 11 natural language reasoning benchmarks.
• Abstract（参考訳）: LLMは、中間ステップをCoT(チェーン・オブ・シンクレット)を通じてトークンとして外部化することで「理性」を保ちつつも、フロンティア推論モデルでさえ、長い水平タスクにおいて突然のパフォーマンスの限界にぶつかった。 暗黙の推論(シングルフォワードパス内での推論)は、CoT生成時に有用である。 弱い暗黙的推論を持つモデルは間違った経路にコミットしやすく、バックトラックによって回復しようとするが、強い暗黙的推論を持つモデルは正しい証明戦略を直接識別し、CoTを短縮する。 しかし、以前の研究は、LLMが暗黙的に浅い深さを越えて、スケールから解放されることなく、推論するのに苦労していることを示している。 カリキュラム学習が、語彙サイズとルックアヘッドを徐々に増加させる例を微調整することで、この深さを拡大できるかどうかを検討する(モデルが正しい次の動きを識別するために、事前に探索しなければならないステップの数)。 一致した計算では、カリキュラムで訓練されたモデルは、カリキュラムなしのトレーニングが失敗するルックアヘッドを達成する。 Qwen3-0.6Bは、カリキュラムで256までのルックアヘッドの問題で98%の精度に達した。 しかし、微調整が続くにつれて進行は遅くなり、飽和指数はモデルが暗黙的に推論を学べる最大の内在的なルックアヘッドを示唆する。 より大型のモデルはより高い取り付け天井に到達し、微調整された事前訓練されたモデルは、スクラッチからトレーニングをはるかに上回っている。 最後に、自然言語推論への合成データ転送で得られた能力は、11の自然言語推論ベンチマークにおいて、カリキュラムなしの訓練モデルで訓練されたモデルよりも優れていた。

関連論文リスト

• Learning to Reason with Curriculum I: Provable Benefits of Autocurriculum [44.56791874493398]
  本稿では,教師付き微調整学習と強化学習の両方において,モデルが独自のパフォーマンスを用いてトレーニングに集中すべき問題を決定するオートカリキュラムについて述べる。 SFTでは,教師の指導を現在のモデルが苦しむプロンプトに焦点を合わせることで,非適応的な微調整よりも指数関数的に推論デモを少なくすることを示した。 RLファインチューニングでは、オートキュリキュラムは参照モデルの品質から計算コストを分離し、後者を目標精度にほぼ依存しないバーンインコストに削減する。
  論文  参考訳（メタデータ） (2026-03-18T22:17:22Z)
• InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
  アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。 Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
  論文  参考訳（メタデータ） (2026-01-20T18:15:38Z)
• Code-driven Number Sequence Calculation: Enhancing the inductive Reasoning Abilities of Large Language Models [44.17697803306198]
  textitCodeSeqは,数列から構築した合成後トレーニングデータセットである。 パイプラインは、失敗したテストケースを反映し、反復的な修正を取り入れることで、教師付き微妙なデータを生成する。 実験の結果,textitCodeSeqでトレーニングしたモデルでは,様々な推論タスクが改善され,OOD性能が保たれることがわかった。
  論文  参考訳（メタデータ） (2025-10-16T12:29:40Z)
• Real-Time Progress Prediction in Reasoning Language Models [41.08450684104994]
  本研究では,リアルタイムの進捗予測が実現可能かどうかを考察する。 我々は進捗を識別し、推論状態の分類のために線形プローブを訓練する。 次に、2段階の微調整手法を導入し、推論モデルにより進捗予測を生成する。
  論文  参考訳（メタデータ） (2025-06-29T15:01:01Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models [67.87579664988199]
  TONは視覚言語モデル(VLM)のための2段階のトレーニング戦略である 選択的な推論のためのコールドスタートとして機能するシンクまたはノットフォーマットを導入している。 TONは、バニラGRPOと比較して、完成期間を最大90%短縮することができる。
  論文  参考訳（メタデータ） (2025-05-22T16:13:29Z)
• Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT? [59.418994222096885]
  AIME24データセット上でモデル性能の詳細な解析を行う。 我々は質問を4段階(易、中、硬、極度硬)に分類する。 我々は,SFT-1Kインスタンスが最小限であるR1推論スタイルを採用する必要があることを見出した。 エクレベルの質問は、根本的に異なる課題を示します。
  論文  参考訳（メタデータ） (2025-04-16T03:39:38Z)
• Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
  この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。 我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。 次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-04-04T17:57:22Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。