論文の概要: MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following

• arxiv url: http://arxiv.org/abs/2606.06058v1
• Date: Thu, 04 Jun 2026 11:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.769963
• Title: MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following
• Title（参考訳）: MDP-GRPO:マルチ制約命令追従のための安定化グループ相対政策最適化
• Authors: Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti,
• Abstract要約: 検証可能な報酬を伴う強化学習は、マルチ制約の指示に最適である。 標準グループ相対的政策最適化は、離散的な低分散報酬の下で不安定になる。 MDP-GRPOは,多温度サンプリングによる学習を安定化し,報酬分散を増大させる。
• 参考スコア（独自算出の注目度）: 4.563830993050022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards is ideal for multi-constraint instruction following, yet standard group-relative policy optimization (GRPO) becomes unstable under discrete, low-dispersion rewards, where within-group reward distributions are frequently homogeneous. We identify and formalize three pathologies of z-score group normalization in this regime: low-variance amplification, mean-centering blindness, and zero-variance collapse. To address them, we propose MDP-GRPO, which stabilizes learning through (1) multi-temperature sampling to increase reward dispersion, (2) dual-anchor advantages to restore gradients in homogeneous groups and stop mean-centering blindness, (3) prospect-theoretic shaping to bound updates and penalize violations based on Kahneman and Tversky's theory, and (4) asymmetric KL regularization. Evaluated on FollowBench, IFEval, and a curated multi-constraint dataset, MDP-GRPO outperforms standard GRPO, improving strict constraint satisfaction by up to 5.0% on Llama-3.2-3B. Our method also enables stable convergence with small group sizes while preserving general capabilities on MMLU and ARC.
• Abstract（参考訳）: 検証可能な報酬を用いた強化学習は、マルチ制約の指示に最適であるが、群内報酬分布がしばしば均一である離散的低分散報酬の下では、標準グループ相対ポリシー最適化(GRPO)は不安定となる。 この状態におけるzスコア群正規化の3つの病理は、低分散増幅、平均中心ブラインドネス、ゼロ分散崩壊である。 そこで本研究では,(1)多温度サンプリングによる学習の安定化と報奨分散の増大,(2)同種群の勾配の回復と平均中心的盲点の停止,(3)境界更新に対する予測理論の整形,(3)カーネマンとトヴェルスキーの理論に基づく違反のペナルティ化,(4)非対称なKL正則化を両立させるMDP-GRPOを提案する。 FollowBench, IFEval, and a curated multi-constraint data, MDP-GRPO は標準 GRPO を上回り、Llama-3.2-3B 上での厳密な制約満足度を最大5.0%向上させる。 また,MMLU と ARC の一般性を維持しながら,小さなグループサイズで安定した収束を可能にする。

関連論文リスト

• A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment [6.3333468199326255]
  優先学習による大規模言語モデル(LLM)のアライメントは、不安定なポリシー更新、曖昧な勾配方向、高い勾配分散に悩まされている。 我々は、Pair-GRPOファミリを中心とした嗜好に基づくRL最適化のための統一的理論的枠組みを確立する。 両変種を包括的に理論的に保証する - 単調な政策改善、決定論的勾配方向、勾配分散低減、動的ステップサイズ収束を含む。
  論文  参考訳（メタデータ） (2026-05-07T14:56:11Z)
• EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance [3.463914032107119]
  本稿では,モデル固有の情報フローをマイニングするフレームワークであるEntropy-Progress Aligned GRPOを提案する。 EP-GRPOはGRPOとその変種と比較して精度と効率が優れている。
  論文  参考訳（メタデータ） (2026-05-06T14:21:54Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• When Right Meets Wrong: Bilateral Context Conditioning with Reward-Confidence Correction for GRPO [18.988527161000203]
  グループ相対政策最適化(GRPO)は、推論モデルを訓練するための効果的な方法として登場した。 本稿では,GRPOの目的が正解率と正解率とのマージンを暗黙的に最大化することを示す。 本稿では,モデルが相互参照を成功させる機構であるバイラテラルコンテキストコンディショニング(BICC)を提案する。
  論文  参考訳（メタデータ） (2026-03-13T16:25:02Z)
• AMIR-GRPO: Inducing Implicit Preference Signals into GRPO [15.759757442328388]
  強化学習は、複雑な推論タスクにおいて、大きな言語モデルを整合させる主要なパラダイムとなっている。 GRPOは大規模なポストトレーニングで広く使用されているが、推論と重大な設定では構造的な制限に直面している。 AMIR-GRPOは、グループ内報酬ランキングから直接構築された暗黙のDPOスタイルのコントラスト正規化器でGRPOを増強する。
  論文  参考訳（メタデータ） (2026-01-07T07:22:58Z)
• GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
  GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。 重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
  論文  参考訳（メタデータ） (2025-10-25T14:51:17Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [50.91849555841057]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。 DisCO は GRPO と DAPO などの改良型を著しく上回り、GRPO の7%、DAPO の6% を平均的に上回っている。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。