論文の概要: From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2606.18089v1
• Date: Tue, 16 Jun 2026 15:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.527135
• Title: From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning
• Title（参考訳）: トレースの推論から再利用可能なモジュールへ:言語モデル推論における合成一般化を理解する
• Authors: Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu,
• Abstract要約: 訓練後パイプラインは教師付き微調整と強化学習を組み合わせたものである。 我々はSFTが原モジュール材料を組成トレースで供給していることを示し、RLはそれらのトレースを分解して潜伏する原子モジュールを同定する。 化合物トレースのトレーニングは、孤立した原子モジュールのトレーニングよりも強い一般化をもたらす。
• 参考スコア（独自算出の注目度）: 92.21289223393067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training pipelines that combine supervised fine-tuning (SFT) with reinforcement learning (RL) have emerged as the key recipe for transforming large language models (LLMs) into robust reasoners. We argue that this combined success is driven by compositional generalization, which we formalize through a hierarchical latent selection model. In this framework, reasoning traces are generated by a cascade of discrete latent selection variables corresponding to reusable atomic modules, including both skills (local operations) and routing mechanisms (how intermediate information is selected, reused, and composed). Within this model, we theoretically show that SFT and RL play asymmetric, complementary roles: SFT supplies the raw module materials in compositional traces, and RL decomposes those traces to identify the latent atomic modules and enable compositional generalization. We design controlled experiments to validate this theory. Our results demonstrate that RL can extract atomic modules from compound traces supplied by SFT and recombine them to solve new configurations. Moreover, we find that training on compound traces yields stronger generalization than training on isolated atomic modules. Finally, we investigate the relationship between SFT and RL data and identify an effective protocol in which SFT ensures coverage of all atomic modules through compositional traces, while RL focuses on novel compositions outside the SFT support to drive exploration.
• Abstract（参考訳）: 教師付き微調整(SFT)と強化学習(RL)を組み合わせたポストトレーニングパイプラインが,大規模言語モデル(LLM)を堅牢な推論器に変換するための重要なレシピとして登場した。 この組み合わせの成功は、階層的な潜在選択モデルを通じて形式化された構成的一般化によって引き起こされると我々は主張する。 このフレームワークでは、再利用可能な原子モジュールに対応する個別の潜時選択変数のカスケード(ローカル操作)とルーティング機構(中間情報がどのように選択され、再利用され、構成されるか)によって、推論トレースが生成される。 このモデルでは、SFTとRLが非対称で相補的な役割を担っていることが理論的に示される: SFTは、合成トレースに原モジュール材料を供給し、RLはそれらのトレースを分解して、潜在原子モジュールを識別し、構成一般化を可能にする。 我々はこの理論を検証するために制御実験を設計した。 その結果、RLはSFTが供給する化合物の痕跡から原子モジュールを抽出し、それらを再結合して新しい構成を解くことができることがわかった。 さらに, 化合物トレースのトレーニングは, 孤立した原子モジュールのトレーニングよりも強い一般化をもたらすことがわかった。 最後に,SFT と RL のデータ間の関係を調査し,SFT がすべての原子モジュールを構成的トレースによってカバーし,RL は SFT サポート外の新規な合成に焦点をあてて探索を進める,効果的なプロトコルを同定する。

関連論文リスト

• Entropy-KL Divergence-based Token Masking: A Novel Approach for Selective Fine-tuning of Large Language Models [52.11240605311707]
  改良された微調整と強化学習は、大規模言語モデルの訓練後の標準パラダイムとなっている。 EKSFT(Entropy-KL Selective Fine-Tuning)は,参照モデルから高いエントロピーまたは高いKLの発散を示すトークンを選択的にマスクする。 数学的推論ベンチマークに関する実証的な評価は、EKSFTが標準SFTを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-28T03:36:05Z)
• Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
  PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。 この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-12T05:43:20Z)
• From Atomic to Composite: Reinforcement Learning Enables Generalization in Complementary Reasoning [83.94543243783285]
  本研究では、内部パラメトリック知識と外部コンテキスト情報の統合を必要とする複雑なタスクである補完的推論について検討する。 RLは確率増幅器ではなく推論合成器として機能する。
  論文  参考訳（メタデータ） (2025-12-01T18:27:25Z)
• Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs [51.29260537017623]
  大規模言語モデル (LLM) は計算化学の汎用基盤モデルとして登場しつつある。 これらのモデルは、しばしば往復一貫性を欠いている。 本稿では,その一貫性を向上させるためにモデルをトレーニングする新しいフレームワークであるRound-Trip Reinforcement Learning(RTRL)を紹介する。
  論文  参考訳（メタデータ） (2025-10-01T23:58:58Z)
• Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models [12.656574142412484]
  本研究では,教師付き微調整と強化学習の相関関係の解明を試みる。 SFTの一般化には原子関数と合成関数の両方が不可欠である。
  論文  参考訳（メタデータ） (2024-06-14T03:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。