論文の概要: EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance
- arxiv url: http://arxiv.org/abs/2605.04960v1
- Date: Wed, 06 May 2026 14:21:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.87099
- Title: EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance
- Title（参考訳）: EP-GRPO: 命令プロセス誘導によるエントロピー適応型グループ相対的政策最適化
- Abstract要約: 本稿では,モデル固有の情報フローをマイニングするフレームワークであるEntropy-Progress Aligned GRPOを提案する。
EP-GRPOはGRPOとその変種と比較して精度と効率が優れている。
- 参考スコア（独自算出の注目度）: 3.463914032107119
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR), particularly Group Relative Policy Optimization (GRPO), has advanced LLM reasoning. However, GRPO suffers from three credit assignment failures: uniform token-level granularity that ignores heterogeneous informational value, uniform polarity that penalizes correct steps and rewards incorrect ones, and zero-variance collapse that erases outcome-driven gradients. We systematically quantify these failures, revealing highly non-uniform token informativeness, widespread step-level polarity misalignment, and substantial training waste. To address these limitations, we propose Entropy-Progress Aligned GRPO (EP-GRPO), a framework that mines the model's intrinsic information flow for dense, self-supervised guidance. EP-GRPO integrates entropy-gated modulation to prioritize high entropy decision pivots, implicit process signals from policy divergence anchored to outcome advantages for directional token-level feedback without external reward models, and cumulative entropy mapping that enables progress-aligned advantage normalization, naturally maintaining gradient flow under zero reward variance. Extensive experiments on mathematical reasoning benchmarks demonstrate that EP-GRPO achieves superior accuracy and efficiency compared to GRPO and its variants. The code will be available.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)、特にグループ相対政策最適化(GRPO)は高度なLCM推論を持つ。
しかし、GRPOは、不均一な情報値を無視した均一なトークンレベルの粒度、正しいステップを罰する均一な極性、結果駆動の勾配を消去するゼロ分散崩壊の3つの信用代入障害に悩まされている。
我々はこれらの障害を体系的に定量化し、高度に一様でないトークン情報、広範囲なステップレベルの極性不整合、および相当な訓練廃棄物を明らかにした。
これらの制約に対処するために,モデル固有の情報フローをマイニングするフレームワークであるEntropy-Progress Aligned GRPO (EP-GRPO)を提案する。
EP-GRPOはエントロピーゲート変調を組み込んで、高いエントロピー決定ピボットの優先順位付け、外部報酬モデルを使わずに方向性トークンレベルのフィードバックに対して結果の利点に固定されたポリシー分散からの暗黙のプロセス信号、進行整合性正規化を可能にする累積エントロピーマッピング、非報酬分散下での勾配流の自然維持などを行う。
数学的推論のベンチマークに関する大規模な実験により、EP-GRPOはGRPOとその変種と比較して精度と効率が優れていることが示された。
コードは利用可能です。
関連論文リスト
- ACPO: Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy [45.28312869386833]
モードローカル・サロゲート・エントロピーに基づくトークンレベルの信用割当フレームワークを提案する。
ACPOは、成功したロールアウトにおける不確実な決定と失敗したロールアウトにおける過信トークンを強調して、ポリシー更新を非対称に調整する。
AIME 2025やHumanEvalProなどの数学的推論とコーディングベンチマークの実験は、ACPOが強いRLベースラインよりも一貫して改善していることを示している。
論文 参考訳（メタデータ） (2026-07-03T09:14:27Z) - Stabilizing On-Policy Distillation for MLLM Reasoning with Global Normalization [9.860371691501076]
オンライン蒸留(OPD)がポストトレーニングの重要なパラダイムとして最近登場した。
我々は,生のKLスコアをバッチレベルの相対的優位性に変換することで最適化を安定化する実用的な方法として,グローバル正規化蒸留政策最適化(GNDPO)を提案する。
論文 参考訳（メタデータ） (2026-06-08T06:41:31Z) - One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。
本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
論文 参考訳（メタデータ） (2026-05-12T08:47:05Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - ERPO: Token-Level Entropy-Regulated Policy Optimization for Large Reasoning Models [3.463914032107119]
グループ相対政策最適化(GRPO)は一般にすべてのトークンに対して一様でシーケンスレベルの利点を割り当てる。
本稿では,最適化の焦点を粗いシーケンスからきめ細かいトークンダイナミクスに移行するエントロピー制御ポリシ最適化(ERPO)を提案する。
論文 参考訳（メタデータ） (2026-03-30T09:20:25Z) - Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。
本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。
刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文 参考訳（メタデータ） (2026-03-04T14:48:53Z) - WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。
Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
論文 参考訳（メタデータ） (2026-02-19T02:43:35Z) - iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。
IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。
一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-09T18:45:11Z) - Don't Waste Mistakes: Leveraging Negative RL-Groups via Confidence Reweighting [24.822152032771736]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルを改善するための標準的なレシピとなっている。
負の集団は、余分な監督なしに活用できることが示される。
論文 参考訳（メタデータ） (2025-10-09T18:01:44Z) - CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning [28.02073546326571]
政策エントロピーは、訓練中の探検と搾取のバランスを反映している。
既存の方法は、クリッピング機構により、低確率トークンから貴重な勾配信号を捨てる。
textbfGradient textbfPreserving textbfPolicy textbfOptimization を用いて textbfCoordinating textbfEntropy を提案する。
論文 参考訳（メタデータ） (2025-09-25T03:22:04Z) - Single-stream Policy Optimization [21.214853668053234]
SPO(Single-stream Policy Optimization)を導入する。
SPOはグループ単位のベースラインを永続的なKL適応値トラッカーに置き換え、バッチ全体にわたってメリットを標準化する。
グループフリーであるため、SPOはより高いスループットと、長い水平またはツール統合された設定で効果的にスケールすることができる。
論文 参考訳（メタデータ） (2025-09-16T16:39:11Z) - On the Effect of Negative Gradient in Group Relative Deep Reinforcement Optimization [52.76330545825083]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力の向上に人気がある。
従来認識されていなかった Lazy Likelihood Displacement (LLD) 現象を同定し, トレーニング中に正答率がわずかに増加するか, あるいは低下する可能性が示唆された。
従来のDPOベースのアプローチとは異なり、NTHRはGRPOのグループベースの構造を利用して、適切な応答をアンカーとして利用し、重要なトークンを識別する。
論文 参考訳（メタデータ） (2025-05-24T18:58:51Z) - Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。
ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。
我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
論文 参考訳（メタデータ） (2024-10-26T14:24:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。