論文の概要: On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse

• arxiv url: http://arxiv.org/abs/2606.29238v1
• Date: Sun, 28 Jun 2026 06:51:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.8421
• Title: On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse
• Title（参考訳）: グループ相対的政策最適化の政策グラディエント基盤について:クレジット割り当て、グラディエントスパリティ、ランク崩壊
• Abstract要約: グループ相対政策最適化(GRPO)は、グループロールアウトの平均報酬をベースラインとして、PPOにおける学習的批判を排除します。 政策勾配定理の第一原理からGRPOの厳密な導出を行い、基本的な信用割当失敗を明らかにする。 GRPOの単純さが理論的に正当化された場合に特徴付け,多段階推論の鍵となるクレジット割り当てボトルネックを同定する。
• 参考スコア（独自算出の注目度）: 2.5845893156827153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group Relative Policy Optimization (GRPO) eliminates the learned critic in PPO by using the mean reward of grouped rollouts as a baseline. We provide a rigorous derivation of GRPO from first principles of the policy gradient theorem, revealing a fundamental credit assignment failure: under output-only reward, every token in a rollout receives identical advantage, collapsing token-level credit to a single scalar. We prove this induces gradient sparsity that intensifies over training, and demonstrate empirically via SVD analysis of GRPO gradients on Nemotron-4B/GSM8K that the gradient matrix has effective rank $\approx$ 2 regardless of group size $R \in \{2, 4, 8\}$. We formalize this as an intrinsic rank-2 structure arising from the zero-sum constraint on advantages and derive conditions under which GRPO's baseline is optimal. Our results characterize when GRPO's simplicity is theoretically justified and identify the credit assignment bottleneck as the key limitation for multi-step reasoning.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、グループロールアウトの平均報酬をベースラインとして、PPOにおける学習的批判を排除します。 我々は、GRPOの厳密な導出をポリシー勾配定理の第一原理から導き、基本的信用割当の失敗を明らかにする: 出力のみの報酬の下で、ロールアウトにおける全てのトークンは、同一の利点を受け、トークンレベルの信用を1つのスカラーに崩壊させる。 このことは、トレーニングを超越した勾配幅を誘導し、Nemotron-4B/GSM8K上のGRPO勾配のSVD解析により、勾配行列が群サイズ$R \in \{2, 4, 8\}$にかかわらず有効ランク$\approx$2を持つことを実証的に証明する。 我々はこれを、GRPOの基準線が最適となる利点と導出条件のゼロサム制約から生じる固有ランク2構造として定式化する。 GRPOの単純さが理論的に正当化された場合に特徴付け,多段階推論の鍵となるクレジット割り当てボトルネックを同定する。

関連論文リスト

• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment [6.3333468199326255]
  優先学習による大規模言語モデル(LLM)のアライメントは、不安定なポリシー更新、曖昧な勾配方向、高い勾配分散に悩まされている。 我々は、Pair-GRPOファミリを中心とした嗜好に基づくRL最適化のための統一的理論的枠組みを確立する。 両変種を包括的に理論的に保証する - 単調な政策改善、決定論的勾配方向、勾配分散低減、動的ステップサイズ収束を含む。
  論文  参考訳（メタデータ） (2026-05-07T14:56:11Z)
• Are complicated loss functions necessary for teaching LLMs to reason? [0.16383644639245779]
  グループ相対政策最適化は、大規模言語モデル(LLM)において有望であることを示す。 ReINFORCE with Group Relative Advantage (RGRA) は、グループ相対的優位性を保ちつつ、PPOスタイルのクリッピングとポリシー比の項を除去する単純化された変種である。 以上の結果から,よりシンプルなREINFORCEベースのアプローチはLLMの推論を効果的に促進し,GRPOのより透明で効率的な代替手段を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-19T11:06:49Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• The Peril of Preference: Why GRPO fails on Ordinal Rewards [0.8937905773981699]
  我々は、この欠陥を解決する新しい定式化であるCoRPO(Correctness Relative Policy Optimization)を導入する。 CoRPOは適応ベースラインを使用し、最小品質の閾値を強制する。 コード検証タスクにおいて、CoRPOを実証的に検証し、より安定した収束とドメイン外一般化を実証する。
  論文  参考訳（メタデータ） (2025-11-06T15:12:50Z)
• Rethinking KL Regularization in RLHF: From Value Estimation to Gradient Optimization [6.136585583991053]
  Reinforcement Learning from Human Feedback (RLHF) は、Kulback-Leibler (KL) の分散損失を利用してトレーニングを安定させ、オーバーフィッティングを防ぐ。 GRPOのような手法では、数値値の推定からその実装を導出することができる。
  論文  参考訳（メタデータ） (2025-10-02T01:00:02Z)
• C$^2$GSPG: Confidence-calibrated Group Sequence Policy Gradient towards Self-aware Reasoning [54.705168477975384]
  推論モデル学習のためのグループシーケンスポリシーグラディエント(GSPG)フレームワーク。 C$2$GSPGは、自信過剰を抑えながら推論性能を同時に向上させる。
  論文  参考訳（メタデータ） (2025-09-27T05:24:51Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。