論文の概要: Compositional Reasoning in Language Models under Reinforcement Learning Post-Training

• arxiv url: http://arxiv.org/abs/2609.19465v1
• Date: Wed, 16 Sep 2026 22:11:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.02395
• Title: Compositional Reasoning in Language Models under Reinforcement Learning Post-Training
• Title（参考訳）: 強化学習後の言語モデルにおける構成推論
• Abstract要約: 本稿では,構成推論を形式化する依存性グラフフレームワークを提案する。 このフレームワークをデータ構造タスクでインスタンス化し、決定論的報酬と明確な構成構造を提供する。
• 参考スコア（独自算出の注目度）: 21.493831195276424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional reasoning is critical for real-world problem solving: since training data is necessarily limited, models must generalize by composing learned skills in new ways. While post-training methods such as reinforcement learning (RL) have substantially improved the reasoning abilities of language models (LMs), their effects on compositional reasoning remain less well understood. We propose a dependency-graph framework to formalize compositional reasoning, yielding three levels of compositionality with increasing complexity. Empirically, we instantiate this framework with data-structure tasks, which provide deterministic reward computation and clear compositional structure. We find a consistent decomposed-to-composed asymmetry: decomposed-skill training does not reliably transfer to composed tasks, whereas composed-task training transfers more readily back to decomposed tasks. We provide theoretical explanation for this asymmetry, and further evaluate compositional generalization under length extrapolation, structural distribution shift, and transfer to tasks requiring unseen skills. Finally, we present a pilot study on real-world tool-calling benchmarks, showing preliminary evidence that the decomposed-to-composed asymmetry can extend to practical settings.
• Abstract（参考訳）: 学習データは必ずしも限られているため、モデルは学習したスキルを新しい方法で構成することによって一般化されなければならない。 強化学習(RL)のようなポストトレーニング手法は言語モデル(LM)の推論能力を大幅に向上させたが、構成的推論への影響はいまだにあまり理解されていない。 本稿では,構成的推論を形式化する依存性グラフフレームワークを提案する。 経験的に、このフレームワークをデータ構造タスクでインスタンス化し、決定論的報酬計算と明確な構成構造を提供する。 分解スキルトレーニングは、構成されたタスクに確実に移行しないが、合成タスクのトレーニングは、分解されたタスクに戻るのがより容易である。 本稿では, この非対称性の理論的説明と, 長さ外挿, 構造分布シフト, 未知のスキルを必要とするタスクへの移動による構成一般化のさらなる評価を行う。 最後に、実世界のツールコールベンチマークに関するパイロット研究を行い、分解された非対称性が実用的な設定にまで拡張可能であることを示す予備的証拠を示す。

関連論文リスト

• What do Language Models Learn and When? The Implicit Curriculum Hypothesis [50.89698323917259]
  Inlicit Curriculum hypothesis: Pretraining following a compositional and predictable curriculum across models。 410M-13Bパラメータから4つのモデルファミリの出現点を追跡する。 モデルが一定の精度のしきい値に達する際の出現順序は著しく一致していることがわかった。
  論文  参考訳（メタデータ） (2026-04-09T17:50:12Z)
• Rethinking Easy-to-Hard: Limits of Curriculum Learning in Post-Training for Deductive Reasoning [61.81622271655058]
  本稿では,カリキュラムに基づく大規模言語モデルのポストトレーニングに関する体系的な実証的研究について述べる。 精度と応答長のいずれにおいても、標準的なランダムサンプリングよりも難易度に基づくシークエンシングにおいて、ロバストな優位性は見つからない。 本研究は, 帰納的推論の文脈において, 学習例の特定の順序付けは, 構成的一般化の達成において無視できる役割を担っていることを示唆している。
  論文  参考訳（メタデータ） (2026-03-28T10:43:36Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Learning Composable Chains-of-Thought [57.73731224510169]
  我々は大規模言語モデル (LLM) を訓練し, 帰属的推論問題のチェーン・オブ・シント (CoT) トレースを推論する。 我々はCoTデータをラベル付けしていない対象構成課題に対処する際の推論スキルの合成一般化に向けて一歩踏み出した。 アトミックタスク上の"アトミックCoT"モデルをComposable CoTデータでトレーニングし、マルチタスク学習やモデルマージと組み合わせて、ターゲットのコンポジションタスク上でのゼロショットパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2025-05-28T17:51:10Z)
• The Coverage Principle: A Framework for Understanding Compositional Generalization [31.762330857169914]
  合成タスクのパターンマッチングに主に依存するモデルは、同じコンテキストで使用した場合に同じ結果が得られるフラグメントを置換する以外には、確実に一般化できないことを示す。 我々は,このフレームワークがトランスフォーマーの一般化能力に強い予測力を持つことを実証した。
  論文  参考訳（メタデータ） (2025-05-26T17:55:15Z)
• Unveiling the Compositional Ability Gap in Vision-Language Reasoning Model [39.58344147240552]
  我々は,大局的な視覚言語モデル (VLM) が,配布外条件下でのモダリティやタスクにまたがる機能を構成することができるかどうかを検討する。 我々の研究は、RLベースの推論VLMトレーニングの現在の限界に光を当て、モーダルやタスクにまたがる構成的推論モデル構築に向けた実用的な洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-26T01:42:38Z)
• RL-STaR: Theoretical Analysis of Reinforcement Learning Frameworks for Self-Taught Reasoner [2.5903660653548366]
  自己学習推論器(STaR)は強化学習を用いて推論ステップを自動生成する。 STaRとその変種は経験的成功を示しているが、これらの改善を説明する理論的基盤は欠如している。 この研究は、CoT推論とSTaRにおける強化学習の有効性を理解するための理論的枠組みを提供する。
  論文  参考訳（メタデータ） (2024-10-31T13:17:53Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• Unifying Structure Reasoning and Language Model Pre-training for Complex Reasoning [26.811507121199323]
  本稿では,明示的な構造推論と言語事前学習を組み合わせ,PLMと構造推論のスキルを融合した統合学習フレームワークを提案する。 まず、コンテクスト内のいくつかの基本構造を識別し、構造化されたクエリを構築し、クエリに沿ってステップバイステップの推論を行い、回答エンティティを識別する。 4つのデータセットに対する実験結果から,提案モデルが多様構造を含む複雑な推論タスクにおいて,大幅な改善を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T08:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。