論文の概要: Stabilizing Reinforcement Learning with LLMs: Formulation and Practices

• arxiv url: http://arxiv.org/abs/2512.01374v1
• Date: Mon, 01 Dec 2025 07:45:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.749763
• Title: Stabilizing Reinforcement Learning with LLMs: Formulation and Practices
• Title（参考訳）: LLMによる強化学習の安定化: 定式化と実践
• Authors: Chujie Zheng, Kai Dang, Bowen Yu, Mingze Li, Huiqiang Jiang, Junrong Lin, Yuqiong Liu, An Yang, Jingren Zhou, Junyang Lin,
• Abstract要約: 本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
• 参考スコア（独自算出の注目度）: 63.37044537121394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel formulation for reinforcement learning (RL) with large language models, explaining why and under what conditions the true sequence-level reward can be optimized via a surrogate token-level objective in policy gradient methods such as REINFORCE. Specifically, through a first-order approximation, we show that this surrogate becomes increasingly valid only when both the training-inference discrepancy and policy staleness are minimized. This insight provides a principled explanation for the crucial role of several widely adopted techniques in stabilizing RL training, including importance sampling correction, clipping, and particularly Routing Replay for Mixture-of-Experts (MoE) models. Through extensive experiments with a 30B MoE model totaling hundreds of thousands of GPU hours, we show that for on-policy training, the basic policy gradient algorithm with importance sampling correction achieves the highest training stability. When off-policy updates are introduced to accelerate convergence, combining clipping and Routing Replay becomes essential to mitigate the instability caused by policy staleness. Notably, once training is stabilized, prolonged optimization consistently yields comparable final performance regardless of cold-start initialization. We hope that the shared insights and the developed recipes for stable RL training will facilitate future research.
• Abstract（参考訳）: 本稿では,ReINFORCE などの政策勾配法において,真シーケンスレベルの報酬が代用トークンレベル目標によって最適化される理由と条件を説明する。 具体的には、一階述語近似を用いて、トレーニング推論の不一致と政策安定度の両方を最小化した場合に限って、このサロゲートが有効になることを示す。 この洞察は、重要サンプリング補正、クリッピング、特にMixture-of-Experts(MoE)モデルのためのルーティング・リプレイを含む、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。 30B MoEモデルによる大規模な実験により, オンライントレーニングでは, サンプリング補正の重要度を考慮した基本方針勾配アルゴリズムが, 最高のトレーニング安定性を達成できることが示されている。 政治外の更新が収束を加速するために導入されると、政策の不安定性による不安定性を軽減するために、クリッピングとルーティングリプレイの組み合わせが不可欠になる。 特に、トレーニングが安定すると、長時間の最適化は、コールドスタートの初期化にかかわらず、常に同等の最終的なパフォーマンスが得られる。 安定したRLトレーニングのための共有洞察と開発レシピが今後の研究を促進することを願っている。

関連論文リスト

• RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
  大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
  論文  参考訳（メタデータ） (2025-11-06T11:27:16Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models [11.295986905174635]
  ルールベース強化学習(RL)は、ルールベース報酬を用いた言語モデル(LM)の推論能力を改善した。 既存のRLメソッドは、大きなポリシー更新と不適切なクリッピングがトレーニングの崩壊につながるような、トレーニングの不安定さに悩まされることが多い。 本稿では,政策学習の安定化を目的とした新しいアルゴリズムCPGDを提案する。
  論文  参考訳（メタデータ） (2025-05-18T17:44:53Z)
• Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [2.743898388459522]
  深層強化学習(RL)では、学習速度は安定性と性能の両方に重大な影響を及ぼすが、環境と政策が進化するにつれて、トレーニング中に最適な価値がシフトする。 標準崩壊スケジューラは単調収束を仮定し、しばしばこれらのダイナミクスと不一致し、早めまたは遅れた調整をもたらす。 LRRLは、学習手順ではなく、政策性能に基づいて動的に学習率を選択するメタ学習手法である。
  論文  参考訳（メタデータ） (2024-10-16T14:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。