論文の概要: Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training

• arxiv url: http://arxiv.org/abs/2511.07372v1
• Date: Mon, 10 Nov 2025 18:29:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.411673
• Title: Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training
• Title（参考訳）: 変圧器木におけるカリキュラムの確率的ベネフィット-学習後の推論
• Authors: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Hau-San Wong, Qingfu Zhang, Taiji Suzuki,
• Abstract要約: 学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
• 参考スコア（独自算出の注目度）: 76.12556589212666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent curriculum techniques in the post-training stage of LLMs have been widely observed to outperform non-curriculum approaches in enhancing reasoning performance, yet a principled understanding of why and to what extent they work remains elusive. To address this gap, we develop a theoretical framework grounded in the intuition that progressively learning through manageable steps is more efficient than directly tackling a hard reasoning task, provided each stage stays within the model's effective competence. Under mild complexity conditions linking consecutive curriculum stages, we show that curriculum post-training avoids the exponential complexity bottleneck. To substantiate this result, drawing insights from the Chain-of-Thoughts (CoTs) solving mathematical problems such as Countdown and parity, we model CoT generation as a states-conditioned autoregressive reasoning tree, define a uniform-branching base model to capture pretrained behavior, and formalize curriculum stages as either depth-increasing (longer reasoning chains) or hint-decreasing (shorter prefixes) subtasks. Our analysis shows that, under outcome-only reward signals, reinforcement learning finetuning achieves high accuracy with polynomial sample complexity, whereas direct learning suffers from an exponential bottleneck. We further establish analogous guarantees for test-time scaling, where curriculum-aware querying reduces both reward oracle calls and sampling cost from exponential to polynomial order.
• Abstract（参考訳）: LLMのポストトレーニング段階における最近のカリキュラム技術は、推論性能の向上において、非カリキュラム的アプローチよりも優れていることが広く観察されているが、なぜ、どのように研究が進められるかを原則的に理解している。 このギャップに対処するため、我々は、各段階がモデルの効果的な能力に留まっている場合、管理可能なステップを通じて漸進的に学習する方が、ハード推論タスクに直接取り組むよりも効率的である、という直観に根ざした理論的な枠組みを開発する。 連続的なカリキュラムの段階をリンクする軽度な複雑性条件下では、学習後のカリキュラムが指数複雑性のボトルネックを回避することが示される。 この結果を確認するために、CoT生成を状態条件付き自己回帰推論木としてモデル化し、事前訓練された振る舞いを捉えるための一様分岐ベースモデルを定義し、カリキュラムステージを深さ増加(より長い推論チェーン)またはヒント減少(ストータプレフィックス)サブタスクとして定式化する。 分析の結果、結果のみの報酬信号の下では、強化学習の微調整は多項式サンプルの複雑さによって高い精度を達成でき、一方直接学習は指数的ボトルネックに悩まされることがわかった。 さらに,カリキュラムを意識したクエリにより,報奨オラクル呼び出しとサンプリングコストを指数関数から多項式順に削減するテストタイムスケーリングの類似保証を確立する。

関連論文リスト

• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• Compressing Chain-of-Thought in LLMs via Step Entropy [12.576398947428988]
  Chain-of-Thought (CoT) を用いた大規模言語モデル (LLM) は複雑な推論において優れるが、かなりの冗長性を持つ思考プロセスを生成し、推論コストが増加し効率が低下する。 本稿では,ステップエントロピーに基づく新しいCoT圧縮フレームワークを提案する。これは,個々の推論ステップの情報的寄与を定量化し,冗長性を識別する指標である。
  論文  参考訳（メタデータ） (2025-08-05T11:48:18Z)
• RL for Reasoning by Adaptively Revealing Rationales [36.50924054394857]
  監督された微調整(SFT)は密度の高い地下構造ラベルに依存しており、シーケンスの長さが大きくなるにつれてコストが増大する。 AdaBack(アダプティブ・バックトラック)は,学習中の目標出力の部分的なプレフィックスのみを明らかにする,サンプルごとのカリキュラム学習アルゴリズムである。 部分解に対する適応的なカリキュラムは、そうでなければ難解な問題を確実に解決することを示します。
  論文  参考訳（メタデータ） (2025-06-22T17:46:14Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Efficient Iterative Amortized Inference for Learning Symmetric and Disentangled Multi-Object Representations [8.163697683448811]
  本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。 対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。 標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
  論文  参考訳（メタデータ） (2021-06-07T14:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。