論文の概要: CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning
- arxiv url: http://arxiv.org/abs/2609.36820v1
- Date: Tue, 29 Sep 2026 06:30:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.240441
- Title: CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning
- Title（参考訳）: CorrGRPO:マルチリワード学習のための相関非正規化GRPO
- Abstract要約: グループ相対ポリシー最適化は、同じプロンプトのロールアウトにまたがる報酬の集中と正規化によって、利点を計算します。
ピアソン相関係数に対の共分散を正規化する相関正規化GRPOを提案する。
これにより、大きな報酬成分に支配される正規化を伴わずに、有利な大きさで報酬相関に適応することができる。
- 参考スコア（独自算出の注目度）: 50.78598181844571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group Relative Policy Optimization (GRPO) is widely used to train reasoning language models, where it computes advantages by centering and normalizing rewards across rollouts of the same prompt. For multiple rewards, GRPO sums the reward components and normalizes the total reward by its within-group standard deviation. The corresponding variance equals the sum of all pairwise reward covariances. For a fixed centered reward, larger aggregate covariance produces smaller advantages, and vice versa, allowing update magnitudes to adapt to reward dependence. However, correlated rewards with large scales can dominate this normalization and suppress signals from smaller-scale rewards. We propose Correlation-Normalized GRPO (CorrGRPO), which normalizes pairwise covariances into Pearson correlation coefficients. CorrGRPO keeps the centered total reward unchanged while balancing the influence of differently scaled rewards on the correlation-based normalization. This allows advantage magnitudes to adapt to reward correlations without the normalization being dominated by large-scale reward components. We compare CorrGRPO with GRPO and other variants on code generation, tool calling, and agent security, using models ranging from 0.5B to 8B parameters. These tasks all involve multiple rewards that can improve together or present tradeoffs. Results show improvements across three domains, including code generation, tool calling, and agent security. Our code is available at https://github.com/HKUST-KnowComp/CorrGRPO.
- Abstract（参考訳）: Group Relative Policy Optimization (GRPO) は推論言語モデルのトレーニングに広く用いられ、同じプロンプトのロールアウトにおける報酬の集中と正規化によって利点を計算する。
複数の報酬に対して、GRPOは報酬成分を和し、グループ内の標準偏差によって全報酬を正規化する。
対応する分散は、すべての対の報酬共分散の和と等しい。
固定中心報酬の場合、より大きな集合共分散はより小さな利点を生み出し、その逆もまた、更新のマグニチュードが報酬依存に適応することを可能にする。
しかし、大規模な相関報酬は、この正規化を支配し、より小規模な報酬からの信号を抑制することができる。
ピアソン相関係数に対の共分散を正規化する相関正規化GRPO(CorrGRPO)を提案する。
CorrGRPOは、相関に基づく正規化に対する異なるスケールの報酬の影響をバランスしながら、中心となる全報酬を一定に保ちます。
これにより、大きな報酬成分に支配される正規化を伴わずに、有利な大きさで報酬相関に適応することができる。
0.5Bから8Bのパラメータのモデルを用いて、コード生成、ツール呼び出し、エージェントセキュリティに関するCorrGRPOとGRPOや他の変種を比較した。
これらのタスクはすべて、一緒に改善したり、トレードオフを提示できる複数の報酬を含んでいる。
結果は、コード生成、ツール呼び出し、エージェントセキュリティを含む3つのドメインで改善されていることを示している。
私たちのコードはhttps://github.com/HKUST-KnowComp/CorrGRPOで利用可能です。
関連論文リスト
- OR Else: A Differentiable Trust Region for Policy Optimization [2.51067108081605]
我々は、スムーズな片側飽和ルールである出力リセット(OR)が、大規模言語モデルのポストトレーニングに有用な代替手段であるかどうかを問う。
PPO-Clip と PPO-OR をGAE で比較し,GRPO-OR とGRPO-OR をグループ相対的優位性で比較した。
論文 参考訳（メタデータ） (2026-07-20T17:07:40Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - FlowRL: Matching Reward Distributions for LLM Reasoning [69.88820066093798]
大規模言語モデル(LLM)強化学習(RL)において、報酬を最大化する代わりに、フローバランシングによる全報酬分布をマッチングするフローRLを提案する。
我々はスカラー報酬を学習可能な分割関数を用いて正規化対象分布に変換し、その後、ポリシーと対象分布との逆KL分散を最小化する。
論文 参考訳（メタデータ） (2025-09-18T17:56:36Z) - Reinforcement Learning with Verifiable Rewards: GRPO's Effective Loss, Dynamics, and Success Amplification [10.617854230082896]
グループ相対政策最適化は、検証可能な(バイナリ)報酬の下でLLMの推論を促進するために最近導入された。
我々は、報酬正規化(平均のみ対平均+分散)とKL分散を用いた更新の正則化の仕方が異なる変種を解析する。
論文 参考訳（メタデータ） (2025-03-09T14:36:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。