論文の概要: Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds

• arxiv url: http://arxiv.org/abs/2610.03165v1
• Date: Fri, 02 Oct 2026 11:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.352179
• Title: Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds
• Title（参考訳）: 分散還元政策勾配のサンプル複雑性:より弱い仮定と下界
• Abstract要約: REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。 本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 61.41272490044518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several variance-reduced versions of REINFORCE based on importance sampling achieve an improved $O(ε^{-3})$ sample complexity to find an $ε$-stationary point, under an unrealistic assumption on the variance of the importance weights. In this paper, we propose the \algo (Defensive Policy Gradient) algorithm, based on defensive importance sampling, which achieves the same rate without any assumption on the variance of ordinary importance weights. We also establish lower bounds in a generalized black-box policy-optimization model that hides states and actions and permits parameter-dependent rewards. In this model, the optimal rates are $Θ(ε^{-4})$ with bounded-variance one-policy feedback and $Θ(ε^{-3})$ with mean-square-smooth coupled two-policy feedback. Under standard policy-regularity conditions, REINFORCE and \algo realize the corresponding oracle conditions and attain the $O(ε^{-4})$ and $O(ε^{-3})$ upper bounds, respectively. Although the lower bounds do not apply directly to the classical MDP interaction model in which these algorithms operate, this correspondence provides oracle-level evidence that the faster rate of \algo is optimal and genuinely separated from that of vanilla policy gradient.
• Abstract（参考訳）: 重みの分散に関する非現実的な仮定の下で、ReINFORCEのいくつかの分散還元バージョンは、$O(ε^{-3})$サンプルの複雑さを改善して$ε$-定常点を求める。 本稿では,従来の重みの分散を前提とせずに,同じレートを達成できる,防御的重要度サンプリングに基づくアルゴリズムである'algo (Defensive Policy Gradient) を提案する。 また、状態や動作を隠蔽し、パラメータ依存報酬を許容する一般化されたブラックボックスポリシー最適化モデルにおいて、下位境界を確立する。 このモデルでは、最適レートは、有界分散一極性フィードバックを持つ$(ε^{-4})$と、平均二極性結合された二極性フィードバックを持つ$(ε^{-3})$である。 標準方針規則性条件の下では、REINFORCE と \algo は対応するオラクル条件を認識し、それぞれ $O(ε^{-4})$ と $O(ε^{-3})$ の上限に達する。 下位境界は、これらのアルゴリズムが動作する古典的MDP相互作用モデルには直接適用されないが、この対応は、 \algoの速度が最適であり、バニラ政策勾配と真に分離されているというオラクルレベルの証拠を提供する。

関連論文リスト

• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Achieving $ε^{-2}$ Sample Complexity for Single-Loop Actor-Critic under Minimal Assumptions [4.440305753099883]
  我々は、強化学習における非政治アクターのための最終項目収束率を確立する。 我々は、最小限の仮定の下で$$-optimal Policyを見つけるために、最初の$tildemathcalO(-2)$サンプル複雑性を保証する。
  論文  参考訳（メタデータ） (2026-05-13T15:04:59Z)
• Lower Bounds and Proximally Anchored SGD for Non-Convex Minimization Under Unbounded Variance [7.788141970705731]
  勾配解析とその変種におけるBlum-Glady Oracle (Amax-0) 条件の弱さに対処する。 これらの下界に合わせるために、スムーズな勾配に対する統一的なアルゴリズムフレームワークであるProllyxima Anchor (ASTA) を考える。
  論文  参考訳（メタデータ） (2026-04-17T18:15:51Z)
• Optimal Sample Complexity for Single Time-Scale Actor-Critic with Momentum [62.691095807959215]
  我々は,シングルタイムスケールアクター・クリティック(AC)アルゴリズムを用いて,$O(-2)$の最適なグローバルポリシを得るための最適なサンプル複雑性を確立する。 これらのメカニズムは、既存のディープラーニングアーキテクチャと互換性があり、実用的な適用性を損なうことなく、小さな修正しか必要としない。
  論文  参考訳（メタデータ） (2026-02-02T00:35:42Z)
• A Variance-Reduced Cubic-Regularized Newton for Policy Optimization [6.52142708235708]
  既存の2階法は、しばしば、重要サンプリングに関する最適でない仮定や非現実的な仮定に悩まされる。 これらの制約を克服するため、分散規則化ニュートン還元推定器であるVR-CR-PNを提案する。 さらなる貢献として、期待された戻り関数に対する新しい水平線を導入し、アルゴリズムが一様サンプルの複雑さを達成できるようにする。
  論文  参考訳（メタデータ） (2025-07-14T10:04:02Z)
• Convergence and Sample Complexity of First-Order Methods for Agnostic Reinforcement Learning [66.4260157478436]
  政策学習における強化学習について検討する。 目的は、特定の種類の利害関係において最高の政策と競争力のある政策を見つけることである。
  論文  参考訳（メタデータ） (2025-07-06T14:40:05Z)
• Theoretical guarantees on the best-of-n alignment policy [110.21094183592358]
  我々は、KLの最良のn$ポリシーと参照ポリシーのKL分岐が、実際のKL分岐の上限であることを示す。 そこで本研究では,KLの発散に対する新しい推定器を提案し,その近似が厳密であることを実証的に示す。 我々は、利益率とKLの最良のn$アライメントポリシーの相違点を分析することで締めくくった。
  論文  参考訳（メタデータ） (2024-01-03T18:39:13Z)
• Efficiently Escaping Saddle Points for Policy Optimization [43.636107996849375]
  政策勾配(PG)は、拡張性と優れた性能のために強化学習に広く用いられている。 本稿では,ヘッセンベクトル積 (HVP) の形で二階情報を用いた分散還元二階法を提案し,サンプルの複雑さを$tildeO(epsilon-3)$とする近似二階定常点 (SOSP) に収束する。
  論文  参考訳（メタデータ） (2023-11-15T12:36:45Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。