論文の概要: Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit Negative Gradients

• arxiv url: http://arxiv.org/abs/2605.06650v1
• Date: Thu, 07 May 2026 17:55:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.0695
• Title: Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit Negative Gradients
• Title（参考訳）: ネガティブなロールアウトを超えて: 暗黙の負の勾配によるポジティブなポリシー最適化
• Authors: Mingwei Xu, Hao Fang,
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論能力を高める主要なパラダイムとなる。 オンラインのポジティブロールアウトを通じてのみ学習を行うことができる新しいRLVRフレームワークであるPOPOを提案する。
• 参考スコア（独自算出の注目度）: 19.444308344942716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR), due to the deterministic verification, becomes a dominant paradigm for enhancing the reasoning ability of large language models (LLMs). The community witnesses the rapid change from the Proximal Policy Optimization (PPO) to Group Relative Policy Optimization (GRPO), in which GRPO reduces the complicated advantage estimation with simple estimation over grouped positive and negative rollouts. However, we note that negative rollouts may admit no gradation of failure severity, and the combinatorial vastness makes penalizing a few sampled negatives unlikely to cover a meaningful reward signal under sparse binary rewards. In this work, we propose Positive-Only Policy Optimization (POPO), a novel RLVR framework in which learning can occur exclusively via online positive rollouts. Specifically, POPO utilizes bounded importance sampling over the positive rollout set. Thus, no disjoint negative rollouts are used for the gradient guidance. We show that implicit negative gradients can emerge naturally through reinforcing the positive probability via rollouts redistribution. Next, POPO stabilizes the policy optimization through two mechanisms. First, it applies a siamese policy network with a momentum-based adaptation law for stabilized policy evolution. Second, we replace the KL-divergence with a bounded similarity penalty term in the siamese representation space. We conduct extensive experiments using publicly available, well-established text-LLM models, e.g., the Qwen family, across all-level mathematical benchmarks. Our experiment demonstrates that POPO achieves performance comparable to, or even superior to GRPO. Notably, we show that POPO can achieve 36.67% in AIME 2025 with Qwen-Math-7B, outperforming GRPO 30.00%. Our ablation and sweep studies further illustrate the necessity and robustness of POPO components.
• Abstract（参考訳）: 検証可能な報酬(RLVR)を用いた強化学習は、決定論的検証により、大規模言語モデル(LLM)の推論能力を高める主要なパラダイムとなる。 コミュニティは、PPO(Proximal Policy Optimization)からGRPO(Group Relative Policy Optimization)への急激な変更を目撃している。 しかし、負のロールアウトは失敗の度合いの低下を認めず、組合せの広さは、少数のサンプルの負をペナルティ化させることで、疎二項報酬の下で有意義な報酬信号をカバーすることはありそうにない。 本稿では,オンラインのポジティブロールアウトを通じて学習を行う新しいRLVRフレームワークであるPositive-Only Policy Optimization (POPO)を提案する。 具体的には、POPOは正のロールアウトセット上の有界な重要度サンプリングを利用する。 したがって、勾配誘導には相反する負のロールアウトは使用されない。 ロールアウト再分配によって正の確率を補強することで、暗黙の負の勾配が自然に現れることを示す。 次に、POPOは2つのメカニズムを通してポリシー最適化を安定化する。 第一に、安定政策進化のための運動量に基づく適応法則を持つシアム政策ネットワークを適用する。 第二に、シャイム表現空間において、KL分割を有界類似性ペナルティ項に置き換える。 我々は、全レベルの数学ベンチマークを用いて、公開され、確立されたテキスト-LLMモデル(例えば、Qwenファミリ)を使用して、広範な実験を行う。 実験により,POPOがGRPOに匹敵する,あるいは優れた性能を達成できることが実証された。 特に,AIME 2025ではQwen-Math-7Bで36.67%,GRPO30.00%を上回った。 我々はPOPO成分の必要性とロバスト性をさらに明らかにした。

関連論文リスト

• Bounded Ratio Reinforcement Learning [62.09379476369526]
  本稿では,BRRL(Bunded Ratio Reinforcement Learning)フレームワークを導入し,都市部における強化学習の課題を解決する。 本稿では,BRRL の最適化手法であるBunded Policy Optimization (BPO) を開発した。 特に,我々のフレームワークは,PPO損失の成功を解釈する新たな理論レンズを提供し,信頼領域政策最適化とクロスエントロピー法(CEM)を接続する。
  論文  参考訳（メタデータ） (2026-04-20T17:59:01Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• GTPO: Trajectory-Based Policy Optimization in Large Language Models [42.60363805227946]
  政策に基づく最適化は、今日の言語モデルのトレーニングとアライメントに広く採用されている。 本稿では,GRPOの2つの大きな限界を明らかにし,解析する。 コンフリクトトークンを識別するGTPOを導入する。
  論文  参考訳（メタデータ） (2025-08-05T08:15:01Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• Entropy Controllable Direct Preference Optimization [3.536605202672355]
  提案するDPOは,提案するポリシのエントロピーを制御可能なH-DPOである。 実験の結果,H-DPO は様々なタスクにおいて DPO よりも優れており,数理タスクに対するpass@$k$ 評価において優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-11-12T07:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。