論文の概要: Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO

• arxiv url: http://arxiv.org/abs/2605.04077v1
• Date: Tue, 14 Apr 2026 09:48:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.575636
• Title: Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO
• Title（参考訳）: バランスアグリゲーション:GRPOにおけるアグリゲーションバイアスの理解と修正
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
• 参考スコア（独自算出の注目度）: 70.38763678943648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has become a central paradigm for improving reasoning and code generation in large language models, and GRPO-style training is widely adopted for its simplicity and effectiveness. However, an important design choice remains underexplored: how token-level policy gradient terms are aggregated within each sampled group. Standard GRPO uses sequence aggregation, while recent work has advocated token aggregation as a better alternative. We show that these two rules induce different optimization biases: token aggregation introduces sign-length coupling, while sequence aggregation implicitly downweights longer responses through sequence-level equal weighting. To address this tension, we propose \textbf{Balanced Aggregation (BA)}, a simple drop-in replacement that computes token-level means separately within the positive and negative subsets and then combines them with sequence-count-based weights. Experiments with Qwen2.5-Math-7B and Qwen3-1.7B on DAPO-17k and Polaris, evaluated on six reasoning and coding benchmarks, show that BA consistently improves training stability and final performance over standard token and sequence aggregation. Our analysis further shows that the relative effectiveness of token and sequence aggregation is largely governed by response-length variation and the positive-negative length gap, highlighting aggregation as a critical design dimension in GRPO-style RLVR.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなり、GRPOスタイルのトレーニングは、その単純さと有効性のために広く採用されている。 しかしながら、トークンレベルのポリシー勾配項が各サンプリンググループ内でどのように集約されるかという重要な設計選択は、まだ未解決のままである。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長の結合を導入し、シーケンスアグリゲーションは列レベルの等重み付けによって暗黙的にダウンウェイトを延長する。 この緊張に対処するために、トークンレベルの平均を正と負のサブセットで別々に計算し、それらをシーケンス数ベースの重み付けに結合する単純なドロップイン置換法である \textbf{Balanced Aggregation (BA)} を提案する。 DAPO-17kとPolarisのQwen2.5-Math-7BとQwen3-1.7Bを用いた実験は、6つの推論およびコーディングベンチマークで評価され、BAが標準トークンとシーケンスアグリゲーションよりもトレーニング安定性と最終的なパフォーマンスを一貫して改善していることが示されている。 さらに,トークンとシーケンスアグリゲーションの相対的有効性は,応答長の変動と正負長の差に大きく左右され,GRPOスタイルのRLVRにおける重要な設計次元としてのアグリゲーションが強調される。

関連論文リスト

• HISPO: Hierarchical Importance-Sampling Policy Optimization with Entropy-Derived Segments [3.6883184884620004]
  検証可能な報酬(RLVR)を用いた強化学習は、言語モデルにおける数学的推論を改善するための中心的なアプローチとなっている。 解トレースの異なる部分が最終的な正しさに不均一に寄与する可能性がある。 ロールアウト時間エントロピー由来の連続セグメントを構成するセグメントレベルのポリシー最適化手法である階層的重要度サンプリングポリシー最適化(HISPO)を導入する。
  論文  参考訳（メタデータ） (2026-09-14T12:29:00Z)
• STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability [78.63876433996107]
  GRPOの下でトークンレベルのエントロピーダイナミクスの1次勾配解析を行う。 本稿では,バッチ内部量子化によるエントロピークリティカルトークンのサブセットを識別するSTAREを提案する。 AIME24とAIME25では、STAREはDAPOや他の競争ベースラインを平均精度で4%-8%上回っている。
  論文  参考訳（メタデータ） (2026-06-17T16:13:42Z)
• N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization [55.14402862283128]
  我々は,グループ相対政策最適化フレームワークに統合された新しい探索戦略であるN-GRPOを紹介する。 トークンレベルのサンプリングやネイティブな埋め込みレベルのノイズに頼るのではなく、Semantic Neighbor Mixingを活用する。 N-GRPOは、数学推論ベンチマークの強いベースラインよりも一貫した改善を達成し、また分布外タスクの堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2026-06-09T12:21:27Z)
• Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
  RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。 ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。 ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-13T04:02:36Z)
• TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching [20.353416189523006]
  標準的なシーケンスレベルのペアワイズ比較のみを用いてトークンレベルの最適性を回復する方法を示す。 本稿では,軽量な状態ベースラインを明示的に学習するTBPO-Qと,高次正規化によりベースラインを除去するTBPO-Aの2点を紹介する。
  論文  参考訳（メタデータ） (2026-05-12T15:44:33Z)
• Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
  トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。 我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
  論文  参考訳（メタデータ） (2026-05-08T06:35:02Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Orchestrating Tokens and Sequences: Dynamic Hybrid Policy Optimization for RLVR [31.43482175098666]
  Reinforcement Learning with Verifiable Rewards (RLVR)は,大規模言語モデルを推論タスクで最適化するための,有望なフレームワークを提供する。 既存のRLVRアルゴリズムは様々な粒度に重点を置いており、それぞれに相補的な強度と制限がある。 本稿では, GRPO と GSPO を単一のクリッピングサロゲート対象にブリッジする動的ハイブリッドポリシー最適化 (DHPO) を提案する。
  論文  参考訳（メタデータ） (2026-01-09T07:57:40Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• Geometric-Mean Policy Optimization [117.05113769757172]
  グループ相対政策最適化(GRPO)は,大規模言語モデルの推論能力を大幅に向上させた。 GRPOは、不利な重要度重み付けされた報酬を持つトークンに直面すると、不安定なポリシー更新に悩まされる。 本稿では,GRPOの安定性を向上させるために,トークン報酬の出力を抑えることにより,GMPO(Geometric-Mean Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-07-28T09:54:05Z)
• GRASP: Grouped Regression with Adaptive Shrinkage Priors [2.7241418453016792]
  グループ予測器を用いた回帰のための単純なベイズ的フレームワークであるGRASPを紹介する。 NBP 先行は、ホースシューの適応的な一般化である。 複雑な階層構造を必要とせずに直接尾部を制御することは十分であることを示す。
  論文  参考訳（メタデータ） (2025-06-22T16:35:16Z)
• What is the Alignment Objective of GRPO? [30.36318490634376]
  本稿では,GRPOアルゴリズムの定常ポリシを特徴付けるためのフレームワークを提案する。 選好アグリゲーションの正確な形は、報酬選好モデルの定義方法とペナルティ関数から生じる。 二分問題に対する集合的選好の明示的な特徴付けとして,大小2の群に対して,大小2の群に対して,大小の群を限定する。
  論文  参考訳（メタデータ） (2025-02-25T15:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。