The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning
Abstractの概要
本論文は、LLMの強化学習における重要な問題は、学習の不安定性だけでなく、学習エンジンと推論エンジンが分離されていることによる目的関数の不一致にあると主張する。パラメータが同期されていても、学習ポリシーと実際の推論ポリシーは同じ軌跡に対して異なる確率を割り当てる可能性があり、学習側の目的関数を改善しても推論時に使用されるポリシーが改善されるとは限らない。これに対処するため、著者らは目標原則としてMonotonic Inference Policy Improvement（MIPI）を提案し、2段階のフレームワークであるMonotonic Inference Policy Update（MIPU）によってこれを実装した。MIPUは、まずサンプラーを参照した候補の更新を構築し、その後、推論ギャップを考慮した検証シグナルを使用して同期された更新を選択的に受け入れる。
新規性
最大の特徴は、解消されない学習・推論間の不一致が存在する状況下において、学習ポリシーの単調な改善の最適化から、推論ポリシーの単調な改善を目標とするパラダイムへのシフトである。提案されたMIPUフレームワークは、サンプラーを参照した更新ルールと、推論側のギャップ指標に基づく更新後の受容テストを組み合わせており、これを不一致の症状に対する単なる対症療法ではなく、目的関数レベルでの解決策として提示している。
成果
不一致レベルの大きいFP8量子化ロールアウトの設定において、MIPUは比較手法の中で最高の平均ベンチマークスコアを達成し、Qwen3-4BおよびQwen3-1.7Bの両方で安定していると評価された唯一の手法であった。Qwen3-4Bでは平均スコア66.71（LR-decayは65.66、ベースラインは64.42）を達成し、Qwen3-1.7Bでは53.97（それぞれ52.23、50.86）を記録した。アブレーション実験により、ステップ1が候補更新の品質を向上させ、ステップ2が信頼性の低い同期更新をフィルタリングすることが示され、ランダムなロールバックによる対照モデルでは安定性の向上が再現されなかった。
論文の注目点
- 本論文は学習と推論の不一致を目的関数レベルの問題として特定しており、学習側の改善が実際に展開される推論ポリシーの改善を保証するものではないと指摘している。
- MIPUは、サンプラーを参照したポリシー更新と、同期後の推論ギャップを考慮した受容またはロールバックという2つの段階により、この視点を運用に落とし込んでいる。
- FP8ロールアウト下での数学的推論ベンチマークの実験において、提案手法はベースラインのGRPO、MIS、LR-decayと比較して高い平均性能と大幅に優れた学習安定性を示した。