Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
Abstractの概要
本論文では、オンポリシー蒸留における弱から強への汎化を研究し、より強力な生徒モデルが、より弱い事後学習済み教師モデルの最終方策の模倣に制約されることなく、その教師からどのように恩恵を受けられるかを探求しています。提案手法であるOn-Policy Reverse Distillation（OPRD）は、生徒のロールアウト上で参照方策に対する教師の方策シフトを評価し、そのシフトを生徒の検証器駆動型方策勾配のリサイズのみに利用します。教師誘導の方向と一致する勾配成分を増幅しつつ直交成分を変更しないでおくことで、本手法は検証器に基づく最適化目標の停留点を保持するように設計されています。実験では、数学および推論ベンチマークにおいて、連続モデル転移、マルチ教師統合、従来の強から弱への設定を検証しています。
新規性
特徴的なアイデアは、弱い教師の事後学習方策の差分を直接的な方策マッチングの目標としてではなく、勾配増幅の方向として利用する点にあります。これにより蒸留が生徒自身の検証器支援による最適化へのガイダンスとして再構築され、生徒が教師を超えることを可能にしながら有用な学習シグナルを伝達することを目指しています。
成果
4Bから8Bへの連続転移において、OPRDはGRPOと比較して33〜67%少ない更新回数で弱い教師の性能に到達し、初期チェックポイントで最大22.7ポイント高い性能を達成したと報告され、チェックポイント平均でも数学で51.91、Reasoning Gymで55.18を記録してベースラインを上回りました。マルチ教師統合ではMix-RLより55%少ない更新回数で教師レベルに達し、平均58.77を記録して専門教師平均およびベースラインを超過しました。また強から弱への蒸留でも向上が報告されており、本手法が特定の能力順序に依存しないことが示唆されています。
論文の注目点
- OPRDは参照方策に対する教師の方策シフトを抽出し、生徒生成ロールアウトにおける生徒の検証器駆動型勾配のうち、方向が一致する成分のみを増幅します。
- 直接的な教師マッチングとは異なり、教師の模倣よりも検証器単体の強化学習に近い応答スタイルを保ちながら、生徒が弱い教師を超えて向上し続けられるよう設計されています。
- 実験結果は連続転移、マルチ教師統合、強から弱への蒸留にわたり、比較ベースラインに対して更新効率および最終平均性能の一貫した向上が示されています。
参考リンク
- arXiv: https://arxiv.org/abs/2609.08798v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.08798v1
- Hugging Face Papers: https://huggingface.co/papers/2609.08798