論文の概要: A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment
- arxiv url: http://arxiv.org/abs/2605.06375v1
- Date: Thu, 07 May 2026 14:56:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.920427
- Title: A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment
- Title（参考訳）: 統一Pair-GRPOファミリー:安定と一般のRLアライメントの適応から明示的選好制約へ
- Authors: Hao Yu,
- Abstract要約: 優先学習による大規模言語モデル(LLM)のアライメントは、不安定なポリシー更新、曖昧な勾配方向、高い勾配分散に悩まされている。
我々は、Pair-GRPOファミリを中心とした嗜好に基づくRL最適化のための統一的理論的枠組みを確立する。
両変種を包括的に理論的に保証する - 単調な政策改善、決定論的勾配方向、勾配分散低減、動的ステップサイズ収束を含む。
- 参考スコア（独自算出の注目度）: 6.3333468199326255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) alignment via reinforcement learning from human preferences (RLHF) suffers from unstable policy updates, ambiguous gradient directions, poor interpretability, and high gradient variance in mainstream pairwise preference learning paradigms. To systematically address these limitations, we establish a unified theoretical framework for preference-based RL optimization centered on the Pair-GRPO family, comprising two tightly coupled variants: Soft-Pair-GRPO and Hard-Pair-GRPO. Soft-Pair-GRPO is a minimal modification of Group Relative Policy Optimization (GRPO) that replaces group-normalized scalar rewards with binary pairwise preference rewards, retaining GRPO's clipped surrogate and KL-regularized structure. We prove a critical gradient equivalence theorem: under first-order Taylor expansion around the current policy, Soft-Pair-GRPO's gradient is a positive scalar multiple of standard GRPO's gradient, explaining its empirical stability despite discarding continuous reward magnitudes. Building on this foundation, we propose Hard-Pair-GRPO, an advanced variant introducing explicit local probability constraints and constrained KL-fitting optimization to further suppress gradient noise and global policy drift. We provide comprehensive theoretical guarantees for both variants--including monotonic policy improvement, deterministic gradient direction, gradient-variance reduction, and dynamic step-size convergence. Extensive experiments on standard LLM alignment benchmarks (HH-RLHF,UltraFeedback) and the MuJoCo continuous control task HalfCheetah-v4 demonstrate that our Pair-GRPO family consistently outperforms state-of-the-art baselines in alignment quality, human preference win rate, training stability, and generalization to general reinforcement learning. Ablation studies validate the critical contributions of each core component.
- Abstract（参考訳）: 人選好(RLHF)からの強化学習による大規模言語モデル(LLM)のアライメントは、不安定なポリシー更新、曖昧な勾配方向、解釈容易性の低下、主流のペア選好学習パラダイムにおける高勾配のばらつきに悩まされている。
これらの制約を体系的に解決するために、我々は、Pair-GRPOファミリーを中心として、Soft-Pair-GRPOとHard-Pair-GRPOの2つの密結合型を含む、選好に基づくRL最適化のための統一的な理論的枠組みを確立する。
ソフトペア-GRPOはグループ相対政策最適化(GRPO)の最小限の変更であり、グループ正規化されたスカラー報酬を2対の選好報酬に置き換え、GRPOのクリップされたサロゲートとKL正規化構造を維持している。
批判的勾配同値定理(Critical gradient equivalence theorem)を証明し、現在の方針の1次テイラー展開の下では、Soft-Pair-GRPOの勾配は標準GRPOの勾配の正のスカラー倍であり、連続的な報酬等級を破棄したにもかかわらずその経験的安定性を説明する。
この基礎の上に構築されたHard-Pair-GRPOは、局所的確率制約と制約付きKL適合最適化を導入し、勾配雑音とグローバルポリシードリフトをさらに抑制する。
両変種を包括的に理論的に保証する - 単調な政策改善、決定論的勾配方向、勾配分散低減、動的ステップサイズ収束を含む。
標準LLMアライメントベンチマーク(HH-RLHF,UltraFeedback)とMuJoCo連続制御タスクHalfCheetah-v4の広範な実験により、我々のPair-GRPOファミリーは、アライメント品質、人間の嗜好の勝利率、トレーニング安定性、一般的な強化学習への一般化において、常に最先端のベースラインを上回っていることが示された。
アブレーション研究は、各コアコンポーネントの臨界寄与を検証する。
関連論文リスト
- Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment [13.085014101959118]
我々は、バッチ統計から有利な推定を分離する新しいアライメントフレームワークであるPersonalized GRPOを紹介する。
我々はP-GRPOを多種多様なタスクで評価し、標準のGRPOよりも高速な収束と高い報酬を達成することを発見した。
論文 参考訳（メタデータ） (2026-02-17T19:00:43Z) - f-GRPO and Beyond: Divergence-Based Reinforcement Learning Algorithms for General LLM Alignment [15.396104072574104]
政治強化学習のクラスであるf群相対政策最適化(f-GRPO)とf-Hybrid Alignment Loss(f-HAL)を提案する。
我々は、これらの目的のクラスがアライメント後の平均報酬を改善することを理論的に保証する。
論文 参考訳（メタデータ） (2026-02-05T18:01:52Z) - Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。
より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。
DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文 参考訳（メタデータ） (2026-02-04T18:59:04Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。
次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。
GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
論文 参考訳（メタデータ） (2026-01-08T18:59:24Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳（メタデータ） (2025-12-13T16:31:26Z) - On Global Convergence Rates for Federated Policy Gradient under Heterogeneous Environment [14.366821866598803]
本稿では、ソフトマックスに着想を得たパラメータ化を慎重に構築したポリシー勾配法であるb-RS-FedPGを紹介する。
我々は, b-RS-FedPG のほぼ最適定常政策への明確な収束率を示す。
論文 参考訳（メタデータ） (2025-05-29T14:08:35Z) - DISCO Balances the Scales: Adaptive Domain- and Difficulty-Aware Reinforcement Learning on Imbalanced Data [65.09939942413651]
本稿では,グループ間不均衡と2つの重要なイノベーションに対処するGRPOの原理的拡張を提案する。
ドメイン対応報酬スケーリングは、ドメインの頻度に基づいて最適化を再重み付けすることで周波数バイアスに対処する。
難解な報酬のスケーリングは、学習価値を提供する不確実なプロンプトを特定し、優先順位付けするために、プロンプトレベルの自己整合性を活用する。
論文 参考訳（メタデータ） (2025-05-21T03:43:29Z) - GVPO: Group Variance Policy Optimization for Large Language Model Post-Training [19.005045649097987]
群変数ポリシー最適化(GVPO)は、KL制約された報酬を直接重みに含める分析解である。
GVPOには2つの大きな利点がある: ユニークな最適解、正確にはKL制約の報酬目的、および柔軟なサンプリング分布をサポートする。
GVPOは、理論的な保証を実用的適応性で統一することにより、信頼性と汎用性を備えたLLMポストトレーニングのための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2025-04-28T09:02:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。