Fugu-MT 論文翻訳(概要): Learning to Reason with Curriculum II: Compositional Generalization

論文の概要: Learning to Reason with Curriculum II: Compositional Generalization

arxiv url: http://arxiv.org/abs/2606.27721v1
Date: Fri, 26 Jun 2026 05:09:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-29 18:24:25.371157
Title: Learning to Reason with Curriculum II: Compositional Generalization
Title（参考訳）: カリキュラムによる推論の学習 II: 構成的一般化
Abstract要約: 本稿では,本シリーズのパートIに基づく自己計算に基づくアプローチが,直接手法よりも高い統計的複雑性を実現することを示す。教師付き微調整(SFT)にインスパイアされた設定のために、カリキュラムは監督トークンの2$mathcalO(sqrtlog T)から学習を容易にする。検証可能な報酬付き強化学習(RLVR)にインスパイアされた設定では、カリキュラムが参照モデルの要件を全列長のカバレッジから短いブロック長のカバレッジまで削減することを示す。
参考スコア（独自算出の注目度）: 27.242998212645784
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Compositional generalization, the ability to solve complex problems by combining solutions to simpler sub-problems, is a fundamental capability of both natural and artificial intelligence, and a key mechanism underlying chain-of-thought reasoning. However, the theoretical underpinnings of compositional generalization remain poorly understood: when and why does decomposing a problem into parts yield more efficient learning than solving it directly? We study this question through the canonical problem of learning to simulate semiautomata (predicting the outcome of $T$ steps of sequential computation), a model that captures state tracking, regular language recognition, and modular arithmetic. We show that an autocurriculum-based approach building on Part I of this series, recursively decomposing longer sequences into shorter sub-problems, learning to solve them, and composing the solutions, achieves dramatically better statistical complexity than direct methods. (i) For a setting inspired by supervised fine-tuning (SFT) where the learner receives interactive feedback on intermediate states of the computation, curriculum facilitates learning from only $2^{\mathcal{O}(\sqrt{\log T})}$ tokens of supervision; i.e., subpolynomial in the sequence length $T$, overcoming the $Ω(T)$ token barrier required by direct simulation. (ii) For a setting inspired by reinforcement learning with verifiable rewards (RLVR), where the learner improves a pre-trained reference model using an outcome verifier, we show that curriculum reduces the requirement on the reference model from coverage at the full sequence length $T$ to coverage at a shorter block length $B \ll T$, an exponentially weaker condition.
Abstract（参考訳）: 構成的一般化は、解を単純なサブプロブレムに組み合わせることで複雑な問題を解く能力であり、自然と人工知能の両方の基本的な能力であり、思考の連鎖的推論の根底にある重要なメカニズムである。しかし、構成一般化の理論的基盤は理解されていない: いつ、なぜ問題を部品に分解すれば、直接解けるよりも、より効率的な学習が得られるのか? 本研究では, 状態追跡, 正規言語認識, モジュラー算術のモデルであるセミオートマタ(シーケンシャル計算のT$ステップの結果を予測する)をシミュレートする学習の標準的な問題を通して, この問題を考察する。本シリーズのパートIに基づいて,より長い列を短いサブプロブレムに再帰的に分解し,解法を学習し,解法を構成するという手法が,直接法よりも劇的に高い統計的複雑性を実現することを示す。 i) 学習者が計算の中間状態についてインタラクティブなフィードバックを受けることのできる教師付き微調整(SFT)にインスパイアされた設定において、カリキュラムは、直接シミュレーションで要求される$Ω(T)$トークン障壁を克服するために、監督のトークンである$2^{\mathcal{O}(\sqrt{\log T})}から学習を容易にする。結果検証器を用いて学習者が事前学習した参照モデルを改善するRLVRによる強化学習に触発された設定に対して,カリキュラムは,参照モデルの要件を,短いブロック長$B \ll T$,指数的に弱い条件のフルシーケンス長$T$からカバー範囲まで削減することを示した。

関連論文リスト

Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
論文参考訳（メタデータ） (2025-11-10T18:29:54Z)
Code-driven Number Sequence Calculation: Enhancing the inductive Reasoning Abilities of Large Language Models [44.17697803306198]
textitCodeSeqは,数列から構築した合成後トレーニングデータセットである。パイプラインは、失敗したテストケースを反映し、反復的な修正を取り入れることで、教師付き微妙なデータを生成する。実験の結果,textitCodeSeqでトレーニングしたモデルでは,様々な推論タスクが改善され,OOD性能が保たれることがわかった。
論文参考訳（メタデータ） (2025-10-16T12:29:40Z)
Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls [54.57326125204404]
言語モデルはますます能力が高くなっているが、多桁乗算という一見単純なタスクではまだ失敗している。直観的連鎖を通して乗法をうまく学習するモデルをリバースエンジニアリングすることでなぜ研究する。
論文参考訳（メタデータ） (2025-09-30T19:03:26Z)
RL for Reasoning by Adaptively Revealing Rationales [36.50924054394857]
監督された微調整(SFT)は密度の高い地下構造ラベルに依存しており、シーケンスの長さが大きくなるにつれてコストが増大する。 AdaBack(アダプティブ・バックトラック)は,学習中の目標出力の部分的なプレフィックスのみを明らかにする,サンプルごとのカリキュラム学習アルゴリズムである。部分解に対する適応的なカリキュラムは、そうでなければ難解な問題を確実に解決することを示します。
論文参考訳（メタデータ） (2025-06-22T17:46:14Z)
Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits [58.63897489864948]
結果に基づくフィードバックによる強化学習は、根本的な課題に直面します。適切なアクションにクレジットを割り当てるには? 本稿では,一般関数近似を用いたオンラインRLにおけるこの問題の包括的解析を行う。
論文参考訳（メタデータ） (2025-05-26T17:44:08Z)
Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution [59.39066657300045]
CoT(Chain-of-Thought)は、問題を逐次ステップに分解することで、大きな言語モデル(LLM)の推論を促進する。思考のシジー(Syzygy of Thoughts, SoT)は,CoTを補助的,相互関連的な推論経路を導入して拡張する新しいフレームワークである。 SoTはより深い論理的依存関係をキャプチャし、より堅牢で構造化された問題解決を可能にする。
論文参考訳（メタデータ） (2025-04-13T13:35:41Z)
Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2025-04-07T18:30:18Z)
Learning Zero-Sum Linear Quadratic Games with Improved Sample Complexity and Last-Iterate Convergence [18.1055795175092]
Zero-sum Linear Quadratic (LQ) ゲームは最適制御の基本である。本研究では,より単純な入れ子ゼロ階法 (NPG) アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-08T11:47:31Z)
Generalization on the Unseen, Logic Reasoning and Degree Curriculum [25.7378861650474]
本稿では,論理的(ブール的)関数の学習について,未確認(GOTU)設定の一般化に着目して考察する。我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。具体的には、より高次基底要素に最小のフーリエ質量を持つトレーニングデータの補間子を意味する。
論文参考訳（メタデータ） (2023-01-30T17:44:05Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。