論文の概要: CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models

• arxiv url: http://arxiv.org/abs/2505.12504v1
• Date: Sun, 18 May 2025 17:44:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.271387
• Title: CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models
• Title（参考訳）: CPGD:言語モデルのための安定的なルールベース強化学習を目指して
• Authors: Zongkai Liu, Fanqing Meng, Lingxiao Du, Zhixiang Zhou, Chao Yu, Wenqi Shao, Qiaosheng Zhang,
• Abstract要約: ルールベース強化学習(RL)は、ルールベース報酬を用いた言語モデル(LM)の推論能力を改善した。 既存のRLメソッドは、大きなポリシー更新と不適切なクリッピングがトレーニングの崩壊につながるような、トレーニングの不安定さに悩まされることが多い。 本稿では,政策学習の安定化を目的とした新しいアルゴリズムCPGDを提案する。
• 参考スコア（独自算出の注目度）: 11.295986905174635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in rule-based reinforcement learning (RL) have significantly improved the reasoning capability of language models (LMs) with rule-based rewards. However, existing RL methods -- such as GRPO, REINFORCE++, and RLOO -- often suffer from training instability, where large policy updates and improper clipping can lead to training collapse. To address this issue, we propose Clipped Policy Gradient Optimization with Policy Drift (CPGD), a novel algorithm designed to stabilize policy learning in LMs. CPGD introduces a policy drift constraint based on KL divergence to dynamically regularize policy updates, and leverages a clip mechanism on the logarithm of the ratio to prevent excessive policy updates. We provide theoretical justification for CPGD and demonstrate through empirical analysis that it mitigates the instability observed in prior approaches. Furthermore, we show that CPGD significantly improves performance while maintaining training stability. Our implementation balances theoretical rigor with practical usability, offering a robust alternative for RL in the post-training of LMs. We release our code at https://github.com/ModalMinds/MM-EUREKA.
• Abstract（参考訳）: ルールベース強化学習(RL)の最近の進歩は,ルールベース報酬を用いた言語モデル(LM)の推論能力を大幅に向上させた。 しかしながら、GRPO、REINFORCE++、RLOOといった既存のRLメソッドは、大きなポリシー更新と不適切なクリッピングがトレーニングの崩壊につながるような、トレーニングの不安定さに悩まされることが多い。 そこで本研究では,政策学習の安定化を目的とした新しいアルゴリズムであるCPGD(Clipped Policy Gradient Optimization with Policy Drift)を提案する。 CPGDは、KL分散に基づくポリシードリフト制約を導入し、ポリシー更新を動的に規則化し、その比率の対数におけるクリップ機構を活用し、過剰なポリシー更新を防止する。 我々は,CPGDの理論的正当性を提供し,従来のアプローチで観測された不安定性を緩和する経験的分析を通じて実証する。 さらに, CPGDはトレーニング安定性を維持しつつ, 性能を著しく向上することを示した。 我々の実装は、理論上の厳密さと実用性とのバランスを保ち、LMのポストトレーニングにおけるRLの堅牢な代替手段を提供する。 コードをhttps://github.com/ModalMinds/MM-EUREKAでリリースします。

関連論文リスト

• Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning [22.333460316347264]
  本稿では,拡散型ポリシーに適した行動規則化RLフレームワークであるBDPOを紹介する。 我々は,行動制約を尊重しながら最適なポリシーを生成する,効率的な2時間スケールアクタークリティカルなRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-02-07T09:30:35Z)
• Diffusion Actor-Critic: Formulating Constrained Policy Iteration as Diffusion Noise Regression for Offline Reinforcement Learning [13.163511229897667]
  オフラインの強化学習では、価値関数の過大評価を防ぐために、配布外動作を管理する必要がある。 拡散雑音回帰問題としてクルバック・リブラー (KL) 制約ポリシーの繰り返しを定式化する拡散アクタ・クリティカル (DAC) を提案する。 提案手法はD4RLベンチマークで評価され,ほぼすべての環境において最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-05-31T00:41:04Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Supported Policy Optimization for Offline Reinforcement Learning [74.1011309005488]
  オフライン強化学習(RL)に対する政策制約手法は、通常、パラメータ化や正規化を利用する。 規則化手法は学習方針と行動方針の分岐を減少させる。 本稿では、密度に基づくサポート制約の理論的定式化から直接導出した支援政策最適化(SPOT)について述べる。
  論文  参考訳（メタデータ） (2022-02-13T07:38:36Z)
• Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning [11.82492300303637]
  本稿では,学習中の単調な政策改善を確実にする,新しい値ベース強化学習(RL)アルゴリズムを提案する。 提案アルゴリズムは,古典的操作問題と高次元アタリゲームの両方において,性能と安定性を両立させることができることを示す。
  論文  参考訳（メタデータ） (2021-07-13T01:03:10Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。