Fugu-MT 論文翻訳(概要): Rethinking the Divergence Regularization in LLM RL

論文の概要: Rethinking the Divergence Regularization in LLM RL

arxiv url: http://arxiv.org/abs/2606.09821v1
Date: Mon, 08 Jun 2026 17:58:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-09 14:42:07.686688
Title: Rethinking the Divergence Regularization in LLM RL
Title（参考訳）: LLM RLにおけるダイバージェンス正規化の再考
Authors: Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang,
Abstract要約: 強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
参考スコア（独自算出の注目度）: 56.952725733148746
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning (RL) has become a key component of post-training large language models (LLMs). In practice, LLM RL is often off-policy because of training-inference mismatch and policy staleness, making trust-region control essential for stable optimization. Mainstream methods such as PPO and GRPO approximate this control with a ratio-clipping mechanism, but the importance ratio can be a poor proxy for distributional shift in long-tailed vocabularies. Recent work such as DPPO addresses this mismatch by replacing ratio-based clipping with a divergence-based mask, yielding a trust region defined by the sampled token's absolute probability shift. However, DPPO still relies on a hard mask: once a token crosses the trust-region boundary in a harmful direction, its gradient is discarded rather than corrected. To address this, we propose Divergence Regularized Policy Optimization (DRPO), which replaces the hard mask with a smooth advantage-weighted quadratic regularizer on policy shift. DRPO preserves the same trust-region geometry as DPPO while inducing bounded, continuous gradient weights that attenuate diverging updates and provide corrective signals beyond the boundary. Experiments across model scales, architectures, and precision settings show that DRPO improves the stability and efficiency of LLM RL training.
Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。実際には、LLM RLはトレーニング推論ミスマッチとポリシーの安定性のため、しばしば非政治的であり、安定した最適化のために信頼領域制御が不可欠である。 PPOやGRPOのような主流手法は、この制御を比クリッピング機構で近似するが、その重要性比は長い尾の語彙の分布シフトの指標として不十分である。 DPPOのような最近の研究は、比率ベースのクリッピングを分散ベースのマスクに置き換え、サンプルトークンの絶対確率シフトによって定義された信頼領域を生成することで、このミスマッチに対処している。しかし、DPPOは依然としてハードマスクに依存しており、トークンが有害な方向に信頼領域の境界を越えると、その勾配は修正されるのではなく破棄される。そこで本稿では,ハードマスクをスムーズなアドバンス重み付き二次正規化器に置き換えた分散正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、分岐更新を減衰させ、境界を越えて補正信号を提供する境界付き連続勾配重みを誘導する。モデルスケール、アーキテクチャ、高精度設定による実験は、DRPOがLLM RLトレーニングの安定性と効率を向上させることを示している。

論文の概要: Rethinking the Divergence Regularization in LLM RL

関連論文リスト