論文の概要: Reusing Trajectories in Policy Gradients Enables Fast Convergence

• arxiv url: http://arxiv.org/abs/2506.06178v1
• Date: Fri, 06 Jun 2025 15:42:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.537233
• Title: Reusing Trajectories in Policy Gradients Enables Fast Convergence
• Title（参考訳）: 政策グラディエントにおける軌道の再利用による高速収束の実現
• Authors: Alessandro Montenegro, Federico Mansutti, Marco Mussi, Matteo Papini, Alberto Maria Metelli,
• Abstract要約: 政策勾配法 (PG) は効果的な強化学習アルゴリズムの一種である。 本稿では,古いトラジェクトリと新しいトラジェクトリを組み合わせたPGアルゴリズムであるRPG(Retrospective Policy Gradient)を提案する。 確立された仮定の下では、RPGは文献で最もよく知られたレートである$widetildeO(epsilon-1)$のサンプル複雑性を達成する。
• 参考スコア（独自算出の注目度）: 59.27926064817273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policy gradient (PG) methods are a class of effective reinforcement learning algorithms, particularly when dealing with continuous control problems. These methods learn the parameters of parametric policies via stochastic gradient ascent, typically using on-policy trajectory data to estimate the policy gradient. However, such reliance on fresh data makes them sample-inefficient. Indeed, vanilla PG methods require $O(\epsilon^{-2})$ trajectories to reach an $\epsilon$-approximate stationary point. A common strategy to improve efficiency is to reuse off-policy information from past iterations, such as previous gradients or trajectories. While gradient reuse has received substantial theoretical attention, leading to improved rates of $O(\epsilon^{-3/2})$, the reuse of past trajectories remains largely unexplored from a theoretical perspective. In this work, we provide the first rigorous theoretical evidence that extensive reuse of past off-policy trajectories can significantly accelerate convergence in PG methods. We introduce a power mean correction to the multiple importance weighting estimator and propose RPG (Retrospective Policy Gradient), a PG algorithm that combines old and new trajectories for policy updates. Through a novel analysis, we show that, under established assumptions, RPG achieves a sample complexity of $\widetilde{O}(\epsilon^{-1})$, the best known rate in the literature. We further validate empirically our approach against PG methods with state-of-the-art rates.
• Abstract（参考訳）: 政策勾配法 (PG) は効果的な強化学習アルゴリズムの一種であり、特に連続的な制御問題に対処する場合に有用である。 これらの手法は確率勾配法によるパラメトリックポリシのパラメータを学習し、通常、政策勾配を推定するために、政治軌道データを用いて学習する。 しかし、こうした新鮮なデータに依存すると、サンプル非効率になる。 実際、バニラPG法は、$O(\epsilon^{-2})$ trajectories を必要とし、$\epsilon$-approximate 定常点に達する。 効率性を改善するための一般的な戦略は、過去の繰り返し、例えば以前の勾配や軌道のような、政治外の情報を再利用することである。 勾配の再利用は理論的な注目を集めており、$O(\epsilon^{-3/2})$の改善率をもたらすが、過去の軌道の再利用は理論的な観点からはほとんど解明されていない。 本研究では,過去のオフポリス軌道の広範囲な再利用がPG法における収束を著しく加速する,という厳密な理論的証拠を初めて提示する。 重み付け重み付け推定器にパワー平均補正を導入し、ポリシー更新のために古いトラジェクトリと新しいトラジェクトリを組み合わせたPGアルゴリズムであるRPG(Retrospective Policy Gradient)を提案する。 新たな解析により、RPGは、確立された仮定の下で、文献で最もよく知られている$\widetilde{O}(\epsilon^{-1})$のサンプル複雑性を達成することを示す。 我々はさらに,最先端のPG手法に対する我々のアプローチを実証的に検証した。

関連論文リスト

• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Stochastic Policy Gradient Methods: Improved Sample Complexity for Fisher-non-degenerate Policies [19.779044926914704]
  我々は、フィッシャー非退化パラメタライズドポリシーの一般クラスに対する改善されたグローバルコンバージェンス保証を開発する。 本研究では,Implicit Gradient Transport (N-PG-IGT) を用いた正規化政策勾配法を提案し,この手法のサンプル複雑性を$tildemathcalO(varepsilon-2.5)$とする。 我々はこの複雑さをさらに改善し、ヘッセン支援再帰政策勾配を考慮し、$tilde MathcalmathcalO (varepsilon-2)$に改善する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:23Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• Momentum-Based Policy Gradient with Second-Order Information [40.51117836892182]
  本稿では,2次情報を勾配降下に組み込んだSHARP法を提案する。 従来の研究と異なり,提案アルゴリズムでは,分散還元プロセスの利点を損なうような重要サンプリングを必要としない。 提案手法が様々な制御課題に対して有効であることを示すとともに,実際の技術状況に対する優位性を示す。
  論文  参考訳（メタデータ） (2022-05-17T11:56:50Z)
• Softmax Policy Gradient Methods Can Take Exponential Time to Converge [60.98700344526674]
  Softmax Policy gradient(PG)メソッドは、現代の強化学習におけるポリシー最適化の事実上の実装の1つです。 ソフトマックス PG 法は、$mathcalS|$ および $frac11-gamma$ の観点から指数時間で収束できることを実証する。
  論文  参考訳（メタデータ） (2021-02-22T18:56:26Z)
• Stochastic Recursive Momentum for Policy Gradient Methods [28.277961340108313]
  STOchastic Recursive Momentum for Policy Gradient (Storm-PG) という新しいアルゴリズムを提案する。 Storm-PG は STORM-PG のサンプルバウンドで、ポリシー勾配アルゴリズムの最もよく知られた収束率と一致する。 数値実験では、比較ポリシー勾配アルゴリズムよりもアルゴリズムの方が優れていることが示されている。
  論文  参考訳（メタデータ） (2020-03-09T17:59:03Z)
• A Hybrid Stochastic Policy Gradient Algorithm for Reinforcement Learning [32.91450388566405]
  近接ハイブリッドポリシー勾配アルゴリズム(ProxHSPGA)の開発 両アルゴリズムが最もよく知られた軌跡複雑性を$mathcalOleft(varepsilon-4right)$で実現できることを証明している。 我々は、強化学習におけるいくつかのよく知られた例に基づいて、アルゴリズムの性能を評価する。
  論文  参考訳（メタデータ） (2020-03-01T07:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。