論文の概要: Variance-Reduced Policy Gradient is Nearly Minimax-Optimal

• arxiv url: http://arxiv.org/abs/2610.13692v1
• Date: Fri, 09 Oct 2026 14:54:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.645765
• Title: Variance-Reduced Policy Gradient is Nearly Minimax-Optimal
• Title（参考訳）: 変量誘導型政策勾配は最小値に近い
• Abstract要約: 本稿では,一階推定器のクラスを抽象化する統一理論フレームワークであるLoopless Variance-Reduced PG(LVR-PG)を紹介する。 我々は、このアルゴリズムクラスが弱勾配支配の下で、$tildemathcalO(-2)$大域収束を達成することを証明した。 最先端の下限を連続パラメトリックポリシーに拡張することにより、我々は$(-2)$サンプルの複雑性限界を確立し、我々のフレームワークが対数的因子や地平線項まで最小限の最適化であることを確認した。
• 参考スコア（独自算出の注目度）: 41.91746523717205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard Policy Gradient (PG) algorithms suffer from high estimation variance because they rely on Monte Carlo updates. While off-policy variance reduction mitigates this problem, establishing optimal sample complexity currently requires either restrictive assumptions, such as uniformly bounded importance weights, or impractical second-order operations. In this work, we introduce Loopless Variance-Reduced PG (LVR-PG), a unified theoretical framework that abstracts a class of first-order estimators that integrate recursive updates with defensive importance sampling, including known estimators such as PAGE-PG and STORM-PG. We prove that this algorithmic class achieves $\tilde{\mathcal{O}}(ε^{-2})$ last-iterate global convergence under weak gradient domination for general parametric policies. We establish this guarantee using purely first-order updates, with minimal assumptions and without gradient preconditioners. By extending state-of-the-art lower bounds to continuous parametric policies, we establish an $Ω(ε^{-2})$ sample complexity limit, confirming our framework is minimax-optimal up to logarithmic factors and horizon terms.
• Abstract（参考訳）: Standard Policy Gradient (PG)アルゴリズムはモンテカルロの更新に依存するため、高い推定ばらつきに悩まされる。 政治外の分散還元はこの問題を緩和するが、最適なサンプルの複雑さを確立するには、一様有界な重み付けや非現実的な二階演算のような制限的な仮定が必要である。 本稿では,PAGE-PGやSTORM-PGなどの既知の推定器を含む,再帰的更新と防御的重要度サンプリングを統合した一階推定器のクラスを抽象化する統一理論フレームワークであるLoopless Variance-Reduced PG(LVR-PG)を紹介する。 このアルゴリズムのクラスは、一般パラメトリックポリシーに対する弱勾配支配の下で、$\tilde{\mathcal{O}}(ε^{-2})$大域収束を達成することを証明している。 我々は、この保証を、最小限の仮定と勾配事前条件なしで、純粋に一階更新を用いて確立する。 最先端の下限を連続パラメトリックポリシーに拡張することにより、我々は$Ω(ε^{-2})$サンプルの複雑性限界を確立し、我々のフレームワークが対数的因子や地平線項まで極小最適であることを確認する。

関連論文リスト

• Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds [61.41272490044518]
  REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。 本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-10-02T11:43:52Z)
• Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
  我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。 無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。 本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2026-02-11T21:44:20Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• Beyond Exact Gradients: Convergence of Stochastic Soft-Max Policy Gradient Methods with Entropy Regularization [20.651913793555163]
  古典的エントロピー正規化政策勾配法をソフトマックス政策パラメトリゼーションで再検討する。 提案したアルゴリズムに対して,大域的最適収束結果と$widetildemathcalO(frac1epsilon2)$のサンプル複雑性を確立する。
  論文  参考訳（メタデータ） (2021-10-19T17:21:09Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Softmax Policy Gradient Methods Can Take Exponential Time to Converge [60.98700344526674]
  Softmax Policy gradient(PG)メソッドは、現代の強化学習におけるポリシー最適化の事実上の実装の1つです。 ソフトマックス PG 法は、$mathcalS|$ および $frac11-gamma$ の観点から指数時間で収束できることを実証する。
  論文  参考訳（メタデータ） (2021-02-22T18:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。