論文の概要: Sample Efficient Reinforcement Learning with REINFORCE

• arxiv url: http://arxiv.org/abs/2010.11364v2
• Date: Thu, 24 Dec 2020 18:22:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:51:29.249061
• Title: Sample Efficient Reinforcement Learning with REINFORCE
• Title（参考訳）: ReINFORCEを用いたサンプル効率的な強化学習
• Authors: Junzi Zhang, Jongho Kim, Brendan O'Donoghue, Stephen Boyd
• Abstract要約: 本稿では,古典的政策勾配法と広く用いられているREINFORCE推定手法について考察する。 悪い」エピソードの数を制御することによって、常にサブリニアな高い後悔の束縛を確立し、平均的後悔のグローバル収束を、アナルなサブリニアレートでほぼ確実に確立する。 これらのアルゴリズムは、よく知られたREINFORCEアルゴリズムに対して、グローバル収束とサンプル効率の最初のセットを提供し、実際にの性能をよりよく理解するのに貢献する。
• 参考スコア（独自算出の注目度）: 10.884278019498588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy gradient methods are among the most effective methods for large-scale reinforcement learning, and their empirical success has prompted several works that develop the foundation of their global convergence theory. However, prior works have either required exact gradients or state-action visitation measure based mini-batch stochastic gradients with a diverging batch size, which limit their applicability in practical scenarios. In this paper, we consider classical policy gradient methods that compute an approximate gradient with a single trajectory or a fixed size mini-batch of trajectories under soft-max parametrization and log-barrier regularization, along with the widely-used REINFORCE gradient estimation procedure. By controlling the number of "bad" episodes and resorting to the classical doubling trick, we establish an anytime sub-linear high probability regret bound as well as almost sure global convergence of the average regret with an asymptotically sub-linear rate. These provide the first set of global convergence and sample efficiency results for the well-known REINFORCE algorithm and contribute to a better understanding of its performance in practice.
• Abstract（参考訳）: 政策勾配法は大規模強化学習において最も効果的な方法の一つであり、その実証的な成功は、そのグローバル収束理論の基礎を発達させるいくつかの研究のきっかけとなった。 しかしながら、事前の作業では、正確な勾配や、バッチサイズを分散させたミニバッチ確率勾配に基づく状態行動の訪問尺度が必要となり、実用シナリオでの適用性が制限されている。 本稿では,ソフトマックスパラメトリゼーションとログバリアー正則化の下で,単一軌跡の近似勾配や軌道の固定サイズのミニバッチを計算する古典的な政策勾配法と,広く用いられている補強勾配推定手法について考察する。 悪」エピソードの数を制御し、古典的二重化のトリックを頼りにすることで、任意の時間サブリニアな高確率の後悔と、漸近的なサブリニアレートで平均的な後悔のグローバル収束をほぼ確実に確立する。 これらは、よく知られた強化アルゴリズムに対する最初の大域収束とサンプル効率結果を提供し、実際の性能をよりよく理解するのに役立つ。

関連論文リスト

• AdaGrad under Anisotropic Smoothness [10.995979046710893]
  本稿では,新しい異方性一般化された滑らか性仮定を提案し,これに対応するアダグラードの解析を行う。 異方的滑らかさと雑音条件下では、AdaGradはより良い次元依存度でより高速な収束を保証することができる。
  論文  参考訳（メタデータ） (2024-06-21T15:29:31Z)
• Almost sure convergence rates of stochastic gradient methods under gradient domination [2.96614015844317]
  大域的および局所的な勾配支配特性は、強い凸性のより現実的な置き換えであることが示されている。 収束率 $f(X_n)-f*in obig(n-frac14beta-1+epsilonbig)$ は勾配降下の最終反復である。 教師付き学習と強化学習の両方において,本研究結果をトレーニングタスクに適用する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T12:40:57Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Optimization Landscape of Policy Gradient Methods for Discrete-time Static Output Feedback [22.21598324895312]
  本稿では,静的な出力フィードバック制御に適用した場合に,ポリシー勾配法に固有の最適化環境を解析する。 3つの政策勾配法に対する定常点への収束(およびほぼ次元自由率)に関する新しい知見を導出する。 我々は,バニラポリシー勾配法が,そのようなミニマに近づいた場合,局所最小マに対して線形収束を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-29T14:25:57Z)
• Bag of Tricks for Natural Policy Gradient Reinforcement Learning [87.54231228860495]
  我々は,自然政策勾配強化学習のパフォーマンスに影響を及ぼす戦略を実装し,比較した。 提案されたパフォーマンス最適化戦略の収集は、MuJuCoコントロールベンチマークにおいて、結果を86%から181%改善することができる。
  論文  参考訳（メタデータ） (2022-01-22T17:44:19Z)
• Beyond Exact Gradients: Convergence of Stochastic Soft-Max Policy Gradient Methods with Entropy Regularization [20.651913793555163]
  古典的エントロピー正規化政策勾配法をソフトマックス政策パラメトリゼーションで再検討する。 提案したアルゴリズムに対して,大域的最適収束結果と$widetildemathcalO(frac1epsilon2)$のサンプル複雑性を確立する。
  論文  参考訳（メタデータ） (2021-10-19T17:21:09Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• A Nonparametric Off-Policy Policy Gradient [32.35604597324448]
  強化学習(RL)アルゴリズムは、最近の顕著な成功にもかかわらず、高いサンプリング複雑性に悩まされている。 オフポリシーアルゴリズムの一般的なサンプル効率に基づいて構築する。 提案手法は,現状の政策勾配法よりもサンプル効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-01-08T10:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。