$β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation
Abstractの概要
本論文では、通常のオンポリシー自己蒸留（OPSD）が、特権的な教師モデルへの接近と参照ポリシーの維持とのバランスをとる、より広範なKL正則化ポリシー最適化目的関数のβ=1のケースとして見なせることを論じている。この観点から、著者らは参照ポリシーと教師間の幾何学的補間経路上に位置する最適なポリシーを導き出した。得られた強化学習の目的関数を直接最適化する代わりに、スケジュールされた教師の重みに沿ってトークンレベルのロジットを補間することにより、実用的な蒸留ターゲットを構築している。また、トークンの更新がシーケンスレベルの不一致をよりよく反映するように、return-to-go（残りの報酬和）の信用割り当てを追加している。本手法は、1.7Bから8BパラメータのQwen3モデルを用いた数学的推論ベンチマークで評価されている。
新規性
主な新規性は、OPSDをKL正則化ポリシー最適化の特別なケースとして再導出したことであり、これによりβが暗黙の固定的な選択ではなく、明示的な正則化パラメータとして示される点である。これによりβ-OPSDが導かれ、強化学習から導かれた最適なターゲットが、スケジュールされたロジット補間を通じて効率的に実装され、オンポリシー蒸留のためのreturn-to-go信用割り当てと組み合わされる。
成果
AIME 2024、AIME 2025、およびHMMT 2025において、β-OPSDはQwen3-1.7B、4B、8Bの通常のOPSDに対する平均スコアをそれぞれ5.74、1.76、1.66ポイント改善し、表1で比較された手法の中で全体として最高の平均値を達成した。Qwen3-1.7Bでの向上が最も大きく、通常のOPSDと比べてAIME 2024で9.16ポイント、AIME 2025で5.27ポイント、HMMT 2025で2.78ポイントの改善が見られた。アブレーション実験ではさらに、同じreturn-to-goの設定下において、補間ターゲットが直接的な教師の蒸留を上回ること、およびreturn-to-go信用割り当てが局所的なトークン勾配のバリアントを上回ることが示されている。
論文の注目点
- 通常のOPSDをKL正則化ポリシー最適化ファミリーのβ=1のケースとして再定式化し、参照の固定強度を明示的かつ調整可能にした。
- 実用的なアルゴリズムでは、直接的な教師へのマッチングを、参照/生徒ポリシーと特権的な教師の間のスケジュールされたロジット補間に置き換え、シーケンスを考慮した信用割り当てにreturn-to-goの重み付けを使用する。
- 競技レベルの数学的推論ベンチマークでの実験により、様々なモデルスケールにおいて通常のOPSDに対する一貫した平均スコアの向上が示され、アブレーションにより補間ターゲットとreturn-to-go推定器の両方の有効性が支持された。
参考リンク
- arXiv: https://arxiv.org/abs/2607.28582v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2607.28582v1
- Hugging Face Papers: https://huggingface.co/papers/2607.28582
- Project: https://furong-huang.com