論文の概要: Towards Better Training Signal: Advantage Clipped Policy Optimization

• arxiv url: http://arxiv.org/abs/2609.36816v1
• Date: Tue, 29 Sep 2026 06:28:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.239288
• Title: Towards Better Training Signal: Advantage Clipped Policy Optimization
• Title（参考訳）: より良いトレーニングシグナルを目指して - 政策最適化の進歩-
• Abstract要約: 本稿では、IS比と利点の積を切断し、より安定した勾配推定を行うACPOを提案する。 広く使われている数学的推論ベンチマークの実験では、ACPOは精度と訓練効率の両方でPPOとGRPOを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 5.015698158477257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become a cornerstone for improving the reasoning capabilities of large language models (LLMs), but the need for on-policy data substantially limits training efficiency. Reusing off-policy data through importance sampling (IS) can improve efficiency but introduce considerable instability. Hence, algorithms such as PPO and GRPO widely adopt IS-ratio clipping to stabilize training. However, training stability and gradient estimate are mainly determined by the product of IS ratio and advantage. To further stabilize training, we propose ACPO, which clips the product of the IS ratio and the advantage, leading to more stable gradient estimates. We also establish a connection between ACPO and gradient clipping in policy mirror descent (PMD), which is a standard technique to stabilize optimization process, and prove the convergence of clipped-PMD under the standard RL setting. Experiments on widely used mathematical reasoning benchmarks show that ACPO consistently outperforms PPO and GRPO in both accuracy and training efficiency, delivering 4-6 percentage points gains on standard math benchmarks, with Qwen3-8B+PPO. Hence, ACPO is a practical and effective alternative to conventional IS-ratio clipping for RL post-training of LLMs.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語モデル(LLM)の推論能力向上の基盤となっているが、オンラインデータの必要性はトレーニング効率を大幅に制限している。 重要サンプリング(IS)による非政治データの再利用は効率を向上するが、かなりの不安定をもたらす。 したがって、PPOやGRPOといったアルゴリズムはトレーニングを安定させるためにIS比クリッピングを広く採用している。 しかし、トレーニング安定性と勾配推定は主にIS比と利点の積によって決定される。 さらにトレーニングを安定させるために,IS比の積と優位性をカットし,より安定した勾配推定を行うACPOを提案する。 また、最適化プロセスの安定化のための標準手法であるポリシミラー降下法(PMD)におけるACPOと勾配クリッピングの接続を確立し、標準的なRL設定下でのクリッピング-PMDの収束を証明した。 広く使われている数学的推論ベンチマークの実験では、ACPOはPPOとGRPOを精度とトレーニング効率の両方で一貫して上回り、Qwen3-8B+PPOで標準数学ベンチマークで4-6ポイント向上している。 したがって、ACPOは従来のIS比クリッピングに代わる実用的で効果的な代替手段である。

関連論文リスト

• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Adaptive Group Policy Optimization: Towards Stable Training and Token-Efficient Reasoning [6.417080496525403]
  本稿では,適応的グループポリシー最適化(AGPO)を提案する。これは,適応的損失関数(adaptive loss function)を用いて,トレーニングのゆらぎとトークンの非効率を緩和する。 実験により,提案手法は推論ステップにおけるトークンを著しく少なくして,より安定した訓練と優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-20T08:48:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。