論文の概要: A Closed-Loop Non-Asymptotic Convergence Analysis of PPO with Learned Critics and Clipping
- arxiv url: http://arxiv.org/abs/2610.10273v1
- Date: Wed, 07 Oct 2026 15:40:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.009369
- Title: A Closed-Loop Non-Asymptotic Convergence Analysis of PPO with Learned Critics and Clipping
- Title（参考訳）: PPOのクローズドループ非漸近収束解析
- Abstract要約: 我々は,emph-loop actor--critic system として PPO-Clip のエンフノン漸近解析を開発した。
アクター・クローズド・クリニック・カップリング、非滑らかな確率比クリッピング、有限バッチの再利用、予測可能な早期停止をキャプチャする。
十分な結合条件は、最適化、批評家追跡、クリッピング、有限バッチエラーに共通の増幅境界を与える。
- 参考スコア（独自算出の注目度）: 28.20970660595941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite its widespread use, Proximal Policy Optimization with clipping (PPO-Clip) remains difficult to tune, and the interactions among critic learning, clipping, and rollout reuse remain incompletely understood. We develop a \emph{non-asymptotic} analysis of PPO-Clip as a \emph{closed-loop actor--critic} system. It captures actor--critic coupling, nonsmooth probability-ratio clipping, finite-batch reuse, and predictable early stopping under explicit coverage and critic regularity assumptions, using raw GAE and Monte Carlo critic targets. Our synchronous and asynchronous guarantees jointly characterize policy stationarity and the tracking accuracy of the learned critic, with explicit dependence on algorithmic parameters. A sufficient coupling condition gives optimization, critic tracking, clipping, and finite-batch errors a common amplification bound. The asynchronous result also requires a delay-dependent critic stepsize restriction; violating these conditions does not establish divergence. For finite layered MDPs with tabular critics, a uniform bound on the actual clipped-gradient class replaces complete-trajectory counting. A verified growing-horizon family has polynomial sample complexity, and a two-time-scale schedule gives $O(T^{-2/5})$ stationarity and critic-tracking bounds with explicit fresh-rollout accounting. These results together advance our understanding about PPO and provide theoretical guidance in tuning.
- Abstract（参考訳）: 広く使われているにもかかわらず、クリッピングによる韻律最適化(PPO-Clip)はいまだチューニングが困難であり、批判的学習、クリッピング、ロールアウト再利用の相互作用はいまだに完全には理解されていない。
本稿では,PPO-Clipをアクター・クローズドループ・アクター・アクター・クリッピングシステムとして,アクター・クローズド・ループ・アクター・アクター・クリッピング,有限バッチ・リユース,および予測可能な早期停止を,生GAEとモンテカルロの批評家のターゲットを用いて分析する。
我々の同期的および非同期的保証は、アルゴリズムパラメータに明示的に依存して、ポリシーの定常性と学習評論家の追跡精度を共同で特徴付ける。
十分な結合条件は、最適化、批評家追跡、クリッピング、有限バッチエラーに共通の増幅境界を与える。
非同期結果には遅延依存の批評家の段階的な制限も必要であり、これらの条件に違反しても分岐は成立しない。
表付き批判を持つ有限層MDPの場合、実際のクリッピート階数クラスに一様に制限された一様は、完全な軌跡カウントに取って代わる。
証明された成長ホライゾン族は多項式サンプルの複雑さを持ち、2時間スケールのスケジュールは、明示的な新ロールアウト会計を伴う定性および批判追跡境界を$O(T^{-2/5})与える。
これらの結果はPPOに関する理解を深め、チューニングの理論的ガイダンスを提供する。
関連論文リスト
- COPC: Coupled Off-Policy Correction for Asynchronous LLM Reinforcement Learning [27.653935287434773]
非同期RLは、最適化からロールアウト生成を分離することで、大規模な言語モデルの後処理を高速化するが、古い軌道で訓練する。
既存の手法は主にアクター目標における重要度制御を通じてトークンレベルのポリシーミスマッチを補正する。
優位な推定法は、行動と政治の継続によるミスマッチも受け継いでおり、これは不便さを重んじるものである。
トークンレベル比マスキングとTD残差の両面クリッピング比重み付けを組み合わせたアクタ批判手法である Coupled Off-Policy Correction (COPC) を導入する。
論文 参考訳（メタデータ） (2026-10-07T07:43:49Z) - Fast Regularized Policy Mirror Descent with One-Step TD Updates [3.4173456717058084]
政策ミラー降下(PMD)は、正規化マルコフ決定過程(MDP)における高速収束を享受する
時間差 (TD) を1回更新し, 持続的批判を伴ってPMDを解析した。
我々のサンプル複雑度保証は、軌道リセット、生成モデルアクセス、ネストされたポリシー評価ループなしで保持できる。
論文 参考訳（メタデータ） (2026-09-30T14:33:51Z) - EasyPPO: Stabilizing the Critic Is Key [57.76826550536797]
PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。
批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。
EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
論文 参考訳（メタデータ） (2026-09-29T06:15:00Z) - Hierarchical Multilevel Monte Carlo for Order-Optimal Neural Actor-Critic in Average-Reward CMDPs [46.80389197344682]
本研究では,最適性ギャップと$tildeO(T-1/2)$の制約違反を両立させるアルゴリズムを開発した。
これは、一般的な政策パラメータ化とニューラル批評家による無限水平平均逆CMDPに対する最初の順序最適収束保証を確立する。
論文 参考訳（メタデータ） (2026-07-30T15:46:22Z) - PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF [20.068789951726078]
ヒューマンフィードバックからの強化学習は、アクターの実践的な代替手段である。
既存の批判のないアプローチは、軌跡内の全てのトークンに対して一様に軌道レベルの学習信号を伝達する。
本稿では,RLHF に対する計算効率のよい批判的手法であるprefix-Sampling Proximal Policy Optimization (PS-PPO) を提案する。
論文 参考訳（メタデータ） (2026-06-29T04:04:32Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Optimal Sample Complexity for Single Time-Scale Actor-Critic with Momentum [62.691095807959215]
我々は,シングルタイムスケールアクター・クリティック(AC)アルゴリズムを用いて,$O(-2)$の最適なグローバルポリシを得るための最適なサンプル複雑性を確立する。
これらのメカニズムは、既存のディープラーニングアーキテクチャと互換性があり、実用的な適用性を損なうことなく、小さな修正しか必要としない。
論文 参考訳（メタデータ） (2026-02-02T00:35:42Z) - Decoupled Q-Chunking [63.864222078287575]
チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。
私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。
この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
論文 参考訳（メタデータ） (2025-12-11T18:52:51Z) - Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。
DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。
有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
論文 参考訳（メタデータ） (2021-02-23T18:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。