論文の概要: Group Adaptive Clipping Policy Optimization

• arxiv url: http://arxiv.org/abs/2609.00444v1
• Date: Mon, 31 Aug 2026 22:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.110773
• Title: Group Adaptive Clipping Policy Optimization
• Title（参考訳）: グループ適応クリッピングポリシー最適化
• Abstract要約: 検証可能な報酬を伴う強化学習のためのグループ相対的政策最適化は、すべてのロールアウトに対して、固定重要サンプリング(IS)比クリッピング境界を用いる。 GAPO(Group Adaptive Clipping Policy Optimization)は、GRPOメソッドのプラグイン修正であり、クリッピング境界をロールアウトの利点に適応させる。 GAPOは報酬形成を必要とせず、クリッピング閾値のみを適用しながら標準のPPO/GSPOサロゲートを保持する。
• 参考スコア（独自算出の注目度）: 11.199441103932847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group relative policy optimization for reinforcement learning with verifiable rewards (RLVR) typically uses a fixed importance-sampling (IS) ratio clipping boundary across all rollouts. We identify a key limitation: rare correct rollouts on harder problems and abundant correct rollouts on easier problems are clipped at comparable rates, despite contributing very different learning signals. Rollouts with low group success exhibit larger IS ratios and carry stronger gradient signal for exploration and solving new problems, yet are disproportionately suppressed by fixed clipping. To address this, we propose Group Adaptive Clipping Policy Optimization (GAPO), a plug-in modification to GRPO methods that adapts the clipping boundary to the rollout advantage. GAPO is motivated by a reverse-KL trust-region perspective, which suggests that rollouts with larger learning signal should receive proportionally greater update headroom. GAPO requires no reward shaping and preserves the standard PPO/GSPO surrogate while adapting only the clipping threshold. Across Qwen and Llama models, GAPO consistently improves both Pass@1 and Pass@k over fixed clipping and advantage-shaping baselines on math reasoning and coding benchmarks where the pass rates by the base model are relatively low.
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習(RLVR)のためのグループ相対政策最適化は、典型的には、すべてのロールアウトにおいて、固定重要サンプリング(IS)比クリッピング境界を使用する。 難しい問題に対する頻繁な正しいロールアウトと、簡単な問題に対する豊富な正しいロールアウトは、非常に異なる学習シグナルに寄与しているにも関わらず、同等の速度でクリップされる。 グループ成功率の低いロールアウトは、IS比が大きくなり、新しい問題の探索と解決のためのより強い勾配信号を運ぶが、固定クリッピングによって不均等に抑制される。 そこで本研究では,GRPO法に対するプラグイン修正であるGAPO(Group Adaptive Clipping Policy Optimization)を提案する。 GAPOは、逆KL信頼領域の視点によって動機付けられており、より大きな学習信号を持つロールアウトは、比例的に大きな更新ヘッダーを受け取るべきであることを示唆している。 GAPOは報酬形成を必要とせず、クリッピング閾値のみを適用しながら標準のPPO/GSPOサロゲートを保持する。 Qwen と Llama のモデル全体では、GAPO は固定クリッピングよりも Pass@1 と Pass@k の両方を一貫して改善し、数学の推論やベースモデルによるパスレートが比較的低いコーディングベンチマークで有利にソートする。

関連論文リスト

• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• GEAR: Granularity-Adaptive Advantage Reweighting for LLM Agents via Self-Distillation [33.370957547486775]
  Granularity-AdaptivE Advantage Reweightingはトークンレベルの信号とセグメントレベルの信号を使って、軌跡レベルのGRPOの利点を再評価する。 GEARは、標準のGRPO、自己蒸留のみのベースライン、トークンまたはターンレベルのクレジット割り当てメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-12T09:38:38Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• When Right Meets Wrong: Bilateral Context Conditioning with Reward-Confidence Correction for GRPO [18.988527161000203]
  グループ相対政策最適化(GRPO)は、推論モデルを訓練するための効果的な方法として登場した。 本稿では,GRPOの目的が正解率と正解率とのマージンを暗黙的に最大化することを示す。 本稿では,モデルが相互参照を成功させる機構であるバイラテラルコンテキストコンディショニング(BICC)を提案する。
  論文  参考訳（メタデータ） (2026-03-13T16:25:02Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
  グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。 Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
  論文  参考訳（メタデータ） (2026-02-19T02:43:35Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Soft Adaptive Policy Optimization [67.61886077470528]
  強化学習は、大規模言語モデルの推論能力を高める上で、ますます重要な役割を担っている。 GSPOやGRPOのような既存のグループベースのポリシー最適化手法は、ハードクリッピングによってこの問題を軽減する。 ハードクリッピングをスムーズな温度制御ゲートに置き換えるソフト適応ポリシー最適化(SAPO)を提案する。
  論文  参考訳（メタデータ） (2025-11-25T14:25:19Z)
• The Peril of Preference: Why GRPO fails on Ordinal Rewards [0.8937905773981699]
  我々は、この欠陥を解決する新しい定式化であるCoRPO(Correctness Relative Policy Optimization)を導入する。 CoRPOは適応ベースラインを使用し、最小品質の閾値を強制する。 コード検証タスクにおいて、CoRPOを実証的に検証し、より安定した収束とドメイン外一般化を実証する。
  論文  参考訳（メタデータ） (2025-11-06T15:12:50Z)
• Single-stream Policy Optimization [21.214853668053234]
  SPO(Single-stream Policy Optimization)を導入する。 SPOはグループ単位のベースラインを永続的なKL適応値トラッカーに置き換え、バッチ全体にわたってメリットを標準化する。 グループフリーであるため、SPOはより高いスループットと、長い水平またはツール統合された設定で効果的にスケールすることができる。
  論文  参考訳（メタデータ） (2025-09-16T16:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。