論文の概要: Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence

• arxiv url: http://arxiv.org/abs/2610.13015v1
• Date: Fri, 09 Oct 2026 05:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.401132
• Title: Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
• Title（参考訳）: 一般化された近似ポリシー最適化:多様性の観点からLLM RLアルゴリズムを統合する
• Abstract要約: 本稿では,分散レンズによるLLMアルゴリズムの理解と設計のための,原理的かつ統一的なフレームワークを提案する。 異なる$f$-divergencesは、異なるジオメトリとポリシー更新ダイナミクスを誘導することを示す。 この枠組みの下では、PPOとDAPO、DPPO、RIPOといった最近の変種が特別なケースとして出現する。
• 参考スコア（独自算出の注目度）: 30.279819569264053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning has become the foundational paradigm for enhancing the reasoning capabilities of LLMs. Yet the dominant approach, Proximal Policy Optimization (PPO), relies on a geometrically degenerate clipping proxy that cannot adapt its resistance to policy shifts, leading to premature clipping and degraded exploration. Subsequent variants alleviate these issues through fragmented and heuristic modifications. We propose Generalized Proximal Policy Optimization (GPPO), a principled and unified framework for understanding and designing LLM RL algorithms through the lens of divergence. We establish a generalized $f$-divergence trust-region theory with a monotonic performance improvement guarantee, and show that different $f$-divergences induce distinct geometries and policy update dynamics. We further introduce novel estimator topologies that provide more faithful divergence estimates than the conventional single-sample Monte Carlo estimation. Under this framework, PPO and recent variants such as DAPO, DPPO, and RIPO emerge as special cases, establishing a principled two-dimensional design space of {Divergence $\times$ Estimator}. Extensive experiments on eight competition-level math and coding benchmarks show that both dimensions are critical. The best-performing GPPO instantiation surpasses standard GRPO by up to 50% and 14% on math and coding, delivering SOTA performance.
• Abstract（参考訳）: 強化学習はLLMの推論能力を高めるための基礎パラダイムとなっている。 しかし、支配的なアプローチであるPPO(Proximal Policy Optimization)は、政策シフトに対する抵抗に適応できない幾何的に退化したクリッピングプロキシに依存しており、早めのクリッピングと劣化した探索に繋がる。 その後の変種は断片化とヒューリスティックな修正によってこれらの問題を緩和した。 本稿では,分散レンズによるLLM RLアルゴリズムの理解と設計のための原理的かつ統一的なフレームワークGPPOを提案する。 単調な性能向上を保証した一般化された$f$-divergence信頼領域理論を確立し、異なる$f$-divergencesが異なるジオメトリとポリシー更新ダイナミクスを誘導することを示す。 さらに、従来の単サンプルモンテカルロ推定よりも忠実な分岐推定を提供する新しい推定器トポロジーを導入する。 この枠組みの下では、PPO や DAPO、DPPO、RIPO などの最近の変種が特別なケースとして現れ、 {Divergence $\times$ Estimator} の2次元設計空間が確立される。 8つの競合レベルの数学とコーディングのベンチマークに関する大規模な実験は、両方の次元が重要であることを示している。 最も優れたGPPOインスタンス化は、数学とコーディングで最大50%と14%の精度で標準GRPOを上回り、SOTAのパフォーマンスを提供する。

関連論文リスト

• Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization [44.5236237359076]
  PPO-Clipはユークリッド計量を用いて政策の不一致を暗黙的に測定する。 この幾何学的ミスマッチは、低確率領域において過度に保守的な更新をもたらすが、高確率領域では攻撃的であり、究極的には崩壊する。 RIPOは既存のLLM RLアルゴリズムを7つの競合レベルのベンチマークで大幅に上回っている。
  論文  参考訳（メタデータ） (2026-07-11T07:19:59Z)
• Bounded Ratio Reinforcement Learning [62.09379476369526]
  本稿では,BRRL(Bunded Ratio Reinforcement Learning)フレームワークを導入し,都市部における強化学習の課題を解決する。 本稿では,BRRL の最適化手法であるBunded Policy Optimization (BPO) を開発した。 特に,我々のフレームワークは,PPO損失の成功を解釈する新たな理論レンズを提供し,信頼領域政策最適化とクロスエントロピー法(CEM)を接続する。
  論文  参考訳（メタデータ） (2026-04-20T17:59:01Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Beyond KL Divergence: Policy Optimization with Flexible Bregman Divergences for LLM Reasoning [3.259050650999544]
  Group-Based Mirror Policy Optimization (GBMPO)は、グループベースのポリシー最適化をフレキシブルなBregman分散に拡張するフレームワークである。 ハンドデザインのProbL2-GRPOは86.7%の精度でDr. GRPOベースラインよりも5.5ポイント向上している。
  論文  参考訳（メタデータ） (2026-02-04T10:01:20Z)
• Multi-Objective Reward and Preference Optimization: Theory and Algorithms [3.316593788543852]
  この論文は、制御、嗜好学習、大規模言語モデルのアライメントを越えて制約付き強化学習(RL)を進める理論的枠組みとアルゴリズムを開発する。 ACPO, e-COP, warmPref-PS, PSPL, MOPOは, 平均コスト, エピソード, 嗜好駆動のパラダイムでRLを推し進める。 集合的に、論文はRLを平均的コスト、エピソード、および嗜好駆動のパラダイムで統一し、理論的な進歩と、安全で整合した意思決定のための実践的なツールを提供する。
  論文  参考訳（メタデータ） (2025-12-11T12:51:21Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)
• Mirror Descent Policy Optimization [41.46894905097985]
  MDPO (Em mirror descent Policy Optimization) と呼ばれる効率的なRLアルゴリズムを提案する。 MDPOは、信頼領域問題を概ね解決することで、ポリシーを反復的に更新する。 本稿では,オンラインMDPOと,TRPOとPPOという2つの一般的な信頼領域RLアルゴリズムの関連性を強調し,信頼領域制約を明示的に実施することは,TRPOの性能向上に必要ではないことを示す。
  論文  参考訳（メタデータ） (2020-05-20T01:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。