論文の概要: On the Impossibility of Unbiased and Length-Invariant Policy Optimization with Outcome Rewards

• arxiv url: http://arxiv.org/abs/2607.23364v1
• Date: Sat, 25 Jul 2026 21:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.07348
• Title: On the Impossibility of Unbiased and Length-Invariant Policy Optimization with Outcome Rewards
• Title（参考訳）: アウトカム・リワードを伴う不偏長不変政策最適化の不整合性について
• Abstract要約: GRPOは、大規模言語モデルにおける推論能力のトレーニングのための主要な強化学習アルゴリズムである。 GRPO 長偏差は,長さ比に比例する因子によって,より長い軌跡が勾配更新を支配できることを示す。
• 参考スコア（独自算出の注目度）: 2.336620579545279
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) is the dominant reinforcement learning algorithm for training reasoning capabilities in large language models, notably adopted by DeepSeek-R1. The recent improvement Dr. GRPO (COLM 2025) identifies the response-level length bias caused by per-trajectory length normalization in GRPO and proposes removing this normalization, claiming the resulting optimizer is "unbiased." We show that this claim is incomplete. Specifically, we establish an impossibility theorem: under the standard outcome reward + GRPO setting, no length-based weighting scheme can simultaneously achieve the following two properties. (P1) Gradient unbiasedness: the gradient estimator is an unbiased estimate of the true policy gradient. (P2) Length invariance: each trajectory's effective contribution to the gradient is independent of its token length. GRPO approximately satisfies P2 but violates P1; Dr. GRPO satisfies P1 but violates P2. We characterize the complete tradeoff spectrum via the parametric family f_alpha(L) = L^{alpha - 1}, where alpha = 0 recovers GRPO, alpha = 1 recovers Dr. GRPO, and provide quantitative analysis showing that Dr. GRPO's length bias can cause longer trajectories to dominate gradient updates by a factor proportional to the length ratio. Our results reveal that neither algorithm is universally "done right"; they occupy opposite ends of a fundamental and unavoidable tradeoff.
• Abstract（参考訳）: Group Relative Policy Optimization (GRPO) は、DeepSeek-R1で採用されている大規模言語モデルにおいて、推論能力をトレーニングするための主要な強化学習アルゴリズムである。 最近の改良であるGRPO(COLM 2025)は、GRPOにおける軌道長ごとの正規化に起因する応答レベル長のバイアスを特定し、この正規化を除去することを提案し、その結果の最適化は「偏りがない」と主張した。 この主張は不完全であることを示す。 具体的には、標準結果報酬 + GRPO 設定の下では、長さに基づく重み付けスキームは、以下の2つの性質を同時に達成できない。 (P1) 勾配不偏性(Gradient unbiasedness): 勾配推定器は真の政策勾配の偏りのない見積もりである。 (P2) 長さ不変性:各軌道の勾配への効果的な寄与はそのトークン長とは独立である。 GRPO は P2 をほぼ満足するが P1 に反する; GRPO は P1 に満足するが P2 に反する。 パラメトリックファミリ f_alpha(L) = L^{alpha - 1} を用いて完全なトレードオフスペクトルを特徴付け、α = 0 がGRPOを回復し、α = 1 がDr. GRPOを回復し、GRPO博士の長偏差が、長さ比に比例する因子による勾配更新を支配できることを示す定量的解析を行う。 以上の結果から,両アルゴリズムが基本的かつ避けられないトレードオフの両端を占有していることが明らかとなった。

関連論文リスト

• EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance [3.463914032107119]
  本稿では,モデル固有の情報フローをマイニングするフレームワークであるEntropy-Progress Aligned GRPOを提案する。 EP-GRPOはGRPOとその変種と比較して精度と効率が優れている。
  論文  参考訳（メタデータ） (2026-05-06T14:21:54Z)
• Beyond Importance Sampling: Rejection-Gated Policy Optimization [8.321518227956323]
  本稿では,重要サンプリング率r_thetaを置き換えるRejection-Gated Policy Optimization (RGPO)を紹介する。 RGPOは最適化原則への拒絶を高め、ゲートは計算に直接参加し、ポリシーとともに暗黙的に更新される。 RGPO は有界かつ制御可能なバイアスのみを発生し,TRPO に類似した近似単調な政策改善が保証されることを示す。
  論文  参考訳（メタデータ） (2026-04-16T11:39:11Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
  グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。 Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
  論文  参考訳（メタデータ） (2026-02-19T02:43:35Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Expected Return Causes Outcome-Level Mode Collapse in Reinforcement Learning and How to Fix It with Inverse Probability Scaling [2.8825582215429186]
  結果-レベルモードの崩壊は、期待されたリターン自体の構造的な結果であることを示す。 学習信号から結果周波数を除去する逆確率スケーリングという,最小限の補正を提案する。
  論文  参考訳（メタデータ） (2026-01-29T13:03:33Z)
• VL Norm: Rethink Loss Aggregation in RLVR [23.196933474967224]
  RLVR(Reinforcement Learning with Verifiable Rewards)における動的生成長の特性に合わせた損失集約手法を提案する。 理論的にも経験的にも,様々な長さが政策損失に与える影響を解析することにより,最小分散非バイアス推定器として問題を再検討する。 我々の提案したVLノルムは、真の政策損失の偏りのない見積もりを提供するだけでなく、理論の勾配分散を最小化する。
  論文  参考訳（メタデータ） (2025-09-09T09:52:34Z)
• Geometric-Mean Policy Optimization [117.05113769757172]
  グループ相対政策最適化(GRPO)は,大規模言語モデルの推論能力を大幅に向上させた。 GRPOは、不利な重要度重み付けされた報酬を持つトークンに直面すると、不安定なポリシー更新に悩まされる。 本稿では,GRPOの安定性を向上させるために,トークン報酬の出力を抑えることにより,GMPO(Geometric-Mean Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-07-28T09:54:05Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration [39.250754806600135]
  政策(PG)推定は、ターゲットポリシーのサンプル化が許されない場合、課題となる。 従来の非政治PG推定法は、しばしば大きなバイアスや指数関数的に大きなばらつきに悩まされる。 本稿では,FPG(Double Fitted PG Estimation)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-31T20:23:52Z)
• Beyond Exact Gradients: Convergence of Stochastic Soft-Max Policy Gradient Methods with Entropy Regularization [20.651913793555163]
  古典的エントロピー正規化政策勾配法をソフトマックス政策パラメトリゼーションで再検討する。 提案したアルゴリズムに対して,大域的最適収束結果と$widetildemathcalO(frac1epsilon2)$のサンプル複雑性を確立する。
  論文  参考訳（メタデータ） (2021-10-19T17:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。