論文の概要: Is the Importance Ratio Necessary for Stable Reinforcement Learning in LLMs?
- arxiv url: http://arxiv.org/abs/2611.15404v1
- Date: Wed, 11 Nov 2026 12:31:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.139263
- Title: Is the Importance Ratio Necessary for Stable Reinforcement Learning in LLMs?
- Title(参考訳): LLMにおける安定強化学習の重要度は必要か?
- Abstract要約: Likelihood-Gated Policy Optimization (LGPO) は、可能性に基づくゲーティングを通じて、ソフトトラスト領域の制約を強制する。
LGPOは、標準実装と比較してトレーニング時間を平均18%削減しながら、同等のトレーニング安定性とピークパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 11.099215238528858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) has become central to post-training large language models (LLMs). However, popular RL methods like GRPO incur non-negligible overhead by computing both old-policy and current-policy likelihoods to form importance sampling ratios. In this work, we propose Likelihood-Gated Policy Optimization (LGPO), which enforces a soft trust region constraint via likelihood-based gating, eliminating the need to compute old-policy likelihoods. Empirically, we show that removing the importance sampling correction term does not harm training stability, whereas removing the trust region mechanism can lead to collapse. Moreover, ratio-based clipping can fail in fully on-policy training: the importance ratio stays at 1, so the ratio-based trust region constraint never activates. Under standard training settings where GRPO is stable, LGPO achieves comparable training stability and peak performance while reducing training time by ~18% on average relative to a standard implementation that recomputes old-policy likelihoods. In fully on-policy training, where GRPO fails, LGPO remains stable, enabling more efficient and robust LLM RL post-training across training regimes.
- Abstract(参考訳): 強化学習(RL)は、大規模言語モデル(LLM)の訓練後の中心となっている。
しかし、GRPOのような一般的なRL法は、古いポリティクスと現在のポリティクスの両方を計算して重要サンプリング比を形成することによって、無視できないオーバーヘッドを発生させる。
本研究では,リスクベースのゲーティングを通したソフトトラスト領域の制約を強制し,古い政治可能性を計算する必要をなくし,LGPO(Likelihood-Gated Policy Optimization)を提案する。
実験により, 重要サンプリング補正項の除去はトレーニングの安定性を損なうことなく, 信頼領域機構の除去は崩壊につながることを示した。
さらに、比率ベースのクリッピングは完全な政治訓練では失敗し、重要性の比率は1に留まるので、比ベースの信頼領域の制約は決して活性化しない。
GRPOが安定している標準的なトレーニング設定では、LGPOは同等のトレーニング安定性とピークパフォーマンスを達成すると同時に、古い政治の可能性を再計算する標準実装と比較して、トレーニング時間を平均で約18%削減する。
GRPOが失敗する完全オンライントレーニングでは、LGPOは安定しており、トレーニング体制全体にわたってより効率的で堅牢なLLM RLのポストトレーニングを可能にする。
関連論文リスト
- Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL [30.167765219163673]
軌道対応政策最適化(英: Trajectory-Aware Policy Optimization、TAPO)は、理論上、非政治政策勾配から状態分配補正を導出する原則的枠組みである。
TAPOは8つの競合レベルのベンチマークで既存のLLM RLアルゴリズムを大幅に上回っている。
論文 参考訳(メタデータ) (2026-10-09T05:22:07Z) - Towards Better Training Signal: Advantage Clipped Policy Optimization [5.015698158477257]
本稿では、IS比と利点の積を切断し、より安定した勾配推定を行うACPOを提案する。
広く使われている数学的推論ベンチマークの実験では、ACPOは精度と訓練効率の両方でPPOとGRPOを一貫して上回っている。
論文 参考訳(メタデータ) (2026-09-29T06:28:30Z) - Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。
そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。
DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
論文 参考訳(メタデータ) (2026-06-08T17:58:23Z) - Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。
より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。
DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文 参考訳(メタデータ) (2026-02-04T18:59:04Z) - A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。
トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。
我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文 参考訳(メタデータ) (2026-01-30T08:47:19Z) - Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。
この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
論文 参考訳(メタデータ) (2025-12-01T07:45:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。