論文の概要: When Rewards Depend on the Group, GRPO Plays a Tournament

• arxiv url: http://arxiv.org/abs/2611.02404v1
• Date: Mon, 02 Nov 2026 02:26:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.555288
• Title: When Rewards Depend on the Group, GRPO Plays a Tournament
• Title（参考訳）: リワードがグループに依存するとき、GRPOはトーナメントをプレーする
• Abstract要約: この設定で、グループ相対的なベースラインが目的を変えることを証明します。 予想されるアップデートは、各レスポンスの報酬勾配と、グループメイトに対する報酬の$倍の効果を同等にする。 Team-GRPOはGRPOの多様性の崩壊を避け、設定ユーティリティを大幅に改善する。
• 参考スコア（独自算出の注目度）: 5.2290663882417645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rewards for diversity, coverage and distribution matching make the reward of each sampled response depend on the rest of its group, and they are now routinely optimized with GRPO and RLOO. We prove that in this setting the group-relative baseline changes the objective. The expected update equals each response's own reward gradient plus $α$ times its effect on its groupmates' rewards, with $α=-1/(K-1)$ for groups of size $K$, so GRPO trains every response to beat its groupmates in a zero-sum tournament. It cannot see a pairwise diversity bonus when K=2, sees less than half of it at any K, and often does worse than using no baseline at all. Setting $α=+1$ gives Team-GRPO, an unbiased estimator for any group-dependent reward that works with two samples per prompt and requires no extra model calls for pairwise rewards. The theory predicts training quantitatively. It locates the fixed points of a 9B policy to within 0.02 in $\ell_1$ and predicts how concentrated trained policies become with Pearson r=0.995. On GlobalOpinionQA, GRPO collapses onto the majority answer and ends further from human opinion than the untrained model, while Team-GRPO cuts the error from $0.20$ to $0.08$. On NoveltyBench, Team-GRPO avoids the diversity collapse of GRPO and significantly improves set utility.
• Abstract（参考訳）: 多様性、カバレッジ、分布マッチングに対する報酬は、各サンプル応答の報酬はそのグループの他の部分に依存し、GRPOとROOで定期的に最適化されている。 この設定で、グループ相対的なベースラインが目的を変えることを証明します。 期待された更新は、各レスポンスの報酬勾配と、グループメイトの報酬に対する効果のα$倍、サイズが$K$のグループに対する$α=-1/(K-1)$と等しいため、GRPOはゼロサムトーナメントでグループメイトを倒すためにすべてのレスポンスを訓練する。 K=2のとき、一対の多様性のボーナスを見ることができず、その半分以下を任意のKで見ることができ、ベースラインを全く使わないよりも悪い場合が多い。 α=+1$を設定すると、Team-GRPOはグループ依存の報酬を評価できる。 その理論はトレーニングを定量的に予測する。 9B ポリシーの固定点を $\ell_1$ の 0.02 の範囲内に配置し、Pearson r=0.995 で集中訓練されたポリシーがどのようになるかを予測する。 GlobalOpinionQAでは、GRPOは多数決で崩壊し、トレーニングされていないモデルよりも人間の意見からさらに引き離され、Team-GRPOはエラーを0.20$から0.08$に削減する。 NoveltyBenchでは、Team-GRPOはGRPOの多様性の崩壊を避け、設定ユーティリティを大幅に改善する。

関連論文リスト

• Where Groups Split: A Probe Prior for Nonzero Within-Group Variance in RL Post-Training [0.0]
  グループ相対ポリシー最適化は、サンプリングされたグループの報酬が一致しない場合にのみ、プロンプトから学習する。 二項検証器では、完全に正しいか完全に不正確な群は群内分散ゼロとゼロ優位を持つ。
  論文  参考訳（メタデータ） (2026-10-18T15:12:17Z)
• BoT-GRPO: Efficient Process-Reward RL for Reasoning via Bag-of-Token Aggregation [1.5238239394555146]
  Bag-of-Tokens Group Relative Policy Optimizationは、ロールアウトを通じてトークンレベルの報酬をすべて収集する。 Reactのフロントエンドコード生成では、BoT-GRPOは、GRPOよりも80%$コンパイルレートが1.9times$高速になる。 2つ目のタスクである AIME の数学的推論では、BoT-GRPO は絶対的な Pass@$k$ のゲインを GRPO の半分のステップで最大 8.1% で提供する。
  論文  参考訳（メタデータ） (2026-10-07T10:23:17Z)
• Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis [59.80039032720308]
  非同期強化学習(RL)は、大規模言語モデルの訓練後の効率を改善するが、以前のポリシーによって生成された古いロールアウトを導入する。 勾配推定器の第2モーメントとバイアスのトレードオフを特徴付けるGRPO型アルゴリズムの収束バウンダリを導出する。 重み付き推定器のクラス内における比に基づくバイアスを最小化するグループマスキャッピングGRPO(GMC-GRPO)法を提案する。
  論文  参考訳（メタデータ） (2026-10-01T15:45:08Z)
• CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning [50.78598181844571]
  グループ相対ポリシー最適化は、同じプロンプトのロールアウトにまたがる報酬の集中と正規化によって、利点を計算します。 ピアソン相関係数に対の共分散を正規化する相関正規化GRPOを提案する。 これにより、大きな報酬成分に支配される正規化を伴わずに、有利な大きさで報酬相関に適応することができる。
  論文  参考訳（メタデータ） (2026-09-29T06:30:02Z)
• Why Sample What You Can Enumerate? Exact Policy Optimization for Genomic Tool Selection [23.92446384027772]
  凍結した推論子による強化学習は、外部ツールが呼び出すポリシーを教える一般的なレシピとなっている。 本手法は, ツール・サブセット空間の完全化が可能な専門的な科学的環境において, 構造的に不一致となることを示す。 FGPOを導入し、すべてのツールサブセットをスコアし、正確なアクション期待を最適化します。
  論文  参考訳（メタデータ） (2026-09-09T14:20:47Z)
• CIGPO: Contextual Information-Gain Policy Optimization for Multi-Turn Evidence-Reading LLM Agents [1.4298580363875282]
  結果のみの強化学習によるマルチターンエビデンス読解エージェントのトレーニングは、中間旋回が直接クレジットをほとんど受け取らないため不安定である。 Qwen2.5-3B-InstructによるHotpotQA実験では、GRPOは最初(標準F1 0.430)改善されたが、その後100%フォーマット違反の出力に崩壊する。 本研究では,各ターン当たりの報酬を中間的エビデンス読解ターンに割り当てることで,グループ報酬分布が1つの値に崩壊するのを防ぐ,分散テキスト戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T11:50:29Z)
• GD$^2$PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization [54.596224644751565]
  訓練後強化学習(RL)は多次元報酬に頼り、包括的能力を育成する。 これを解決するために、グループ報酬分離政策最適化(GDPO)のような既存の手法は、総合的なスコアを独立した報酬グループに分解し、各グループ内でRL損失を個別に計算する。 本稿では,GD$2$PO(Group-Dynamic reward-Decoupled Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T14:19:28Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Self-Hinting Language Models Enhance Reinforcement Learning [37.311361929798714]
  我々は、権限付き監督(SAGE)を備えた自己隠れ型GRPOを提案する。 SAGEはトレーニング中に特権付きヒントを注入し、同じ端末検証者報酬の下でロールアウト分布を再生成する。 3つのLSMを持つ6つのベンチマーク実験の結果、SAGEはGRPOを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-03T05:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。