From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning
Abstractの概要
本論文は、教師あり微調整（SFT）の後に強化学習（RL）を組み合わせた事後学習が、なぜ言語モデルの推論汎化を向上させるかについて研究している。推論プロセス（reasoning traces）を階層的潜在選択モデルの出力として捉え、再利用可能な基本モジュールには、局所的なスキルと、中間結果の再利用・合成方法を決定するルーティング機構の両方が含まれるとしている。この枠組みにおいて、SFTは生モジュールの素材を含む合成的なプロセスを提供し、RLは報酬に関連する局所的なイベントを豊かにすることで、これらのプロセスを識別可能な基本モジュールへと分解（disentangle）する役割を果たすと主張している。これらの主張は、潜在構造の識別やモジュール再構成に関する理論、統制された合成実験、およびオープンソースのSFT/RLモデルペアの補完的な分析によって裏付けられている。
新規性
本論文の主な新規性は、再利用可能な基本スキルとルーティング機構に基づき、言語モデルの推論における構成的汎化に関する統一的な理論的・実証的説明を提供した点にある。また、SFTとRLの具体的な役割分担を提案し、それぞれの学習分布の関係が汎化にどのように影響するかを調査している。
成果
統制された文字列変換実験において、複合プロセスで学習したRLは、SFTのみの学習よりも基本タスクの精度を向上させ、既知の組み合わせよりも未知の組み合わせに対してより大きな性能向上をもたらした。分布外の合成において、複合プロセスでのRLは個々の基本モジュールでのRLを上回り、除外されたスキルやルーティング機構を含む合成を再注入することで、基本要素のみのデータより効果的に性能が回復した。最高の未知への汎化は、SFTが基本モジュール群を網羅し、RLがSFTの分布外の組み合わせに注力した場合に観察され、RL後のモデルが短いスキルパターンをより豊かに再結合することを示す補完的証拠も確認された。
論文の注目点
- 推論プロセスを、階層的潜在選択フレームワーク内における再利用可能な基本スキルとルーティング機構の合成としてモデル化している。
- SFTが合成プロセスの素材を提供する一方で、RLは識別に重要な局所的イベントを露出させることで、それらのプロセスを再利用可能なモジュールへと分解すると主張している。
- 複合プロセスの学習や、SFTによる広範な基本モジュールの網羅とSFTの分布を越えたRLの探索とを組み合わせたカリキュラムが、構成的汎化において重要であることを実験で示している。