Fugu-MT 論文翻訳(概要): Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control

論文の概要: Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control

arxiv url: http://arxiv.org/abs/2310.05230v1
Date: Sun, 8 Oct 2023 16:54:25 GMT
ステータス: 処理完了
システム内更新日: 2023-10-12 09:11:18.538112
Title: Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Title（参考訳）: 強化学習・ゲーム・制御における政策勾配法のグローバル収束
Authors: Shicong Cen, Yuejie Chi
Abstract要約: 政策勾配法は、強化学習、ゲーム、制御におけるシーケンシャルな意思決定にますます人気がある。ポリシー勾配法の大域的最適性を保証することは、値関数の非凹凸のため、非常に非自明である。
参考スコア（独自算出の注目度）: 38.10940311690513
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Policy gradient methods, where one searches for the policy of interest by maximizing the value functions using first-order information, become increasingly popular for sequential decision making in reinforcement learning, games, and control. Guaranteeing the global optimality of policy gradient methods, however, is highly nontrivial due to nonconcavity of the value functions. In this exposition, we highlight recent progresses in understanding and developing policy gradient methods with global convergence guarantees, putting an emphasis on their finite-time convergence rates with regard to salient problem parameters.
Abstract（参考訳）: 1次情報を用いて価値関数を最大化することで利子政策を探索する政策勾配法が,強化学習,ゲーム,制御における逐次意思決定にますます普及している。しかしながら、政策勾配法の大域的最適性を保証することは、価値関数の非連結性のために非常に非自明である。本発表では,グローバルコンバージェンス保証を伴う政策勾配手法の理解と開発における最近の進歩に注目し,有能な問題パラメータに関する有限時間収束率に着目した。

関連論文リスト

Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
論文参考訳（メタデータ） (2024-07-15T14:54:57Z)
Elementary Analysis of Policy Gradient Methods [3.468656086349638]
本稿では、割引MDPの設定に焦点をあて、前述の政策最適化手法の体系的研究を行う。 1)任意の一定のステップサイズに対する投影された方針勾配の大域的線形収束、2)任意の一定のステップサイズに対するソフトマックス方針勾配の大域的線形収束、3)任意の一定のステップサイズに対するソフトマックス自然政策勾配の大域的線形収束、4)既存の結果よりも広い一定のステップサイズに対するエントロピー正規化ソフトマックス方針勾配の大域的線形収束、5)エントロピー正規化自然政策勾配の厳密な局所的収束率、6)新しい局所的2次収束率。
論文参考訳（メタデータ） (2024-04-04T11:16:16Z)
A Policy Gradient Framework for Stochastic Optimal Control Problems with Global Convergence Guarantee [12.884132885360907]
最適制御問題に対するポリシー勾配法を連続的に検討する。勾配流のグローバル収束を証明し、一定の正則性仮定の下で収束率を確立する。
論文参考訳（メタデータ） (2023-02-11T23:30:50Z)
Policy Gradient in Robust MDPs with Global Convergence Guarantee [13.40471012593073]
Robust Markov決定プロセス(RMDP)は、モデルエラーに直面した信頼性の高いポリシーを計算するための有望なフレームワークを提供する。本稿では、RMDPの汎用的ポリシー勾配法であるDRPG(Double-Loop Robust Policy Gradient)を提案する。従来のロバストなポリシー勾配アルゴリズムとは対照的に、DRPGはグローバルな最適ポリシーへの収束を保証するために近似誤差を単調に削減する。
論文参考訳（メタデータ） (2022-12-20T17:14:14Z)
Bag of Tricks for Natural Policy Gradient Reinforcement Learning [87.54231228860495]
我々は,自然政策勾配強化学習のパフォーマンスに影響を及ぼす戦略を実装し,比較した。提案されたパフォーマンス最適化戦略の収集は、MuJuCoコントロールベンチマークにおいて、結果を86%から181%改善することができる。
論文参考訳（メタデータ） (2022-01-22T17:44:19Z)
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control [8.98732207994362]
離散時間およびモデルフリーなマルコフジャンプ線形系の制御のための勾配に基づくポリシー最適化手法のグローバル収束性について検討する。本研究では、勾配勾配勾配法と自然政策勾配法を用いて、政策のグローバル収束を示す。
論文参考訳（メタデータ） (2021-11-30T09:26:26Z)
Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
論文参考訳（メタデータ） (2021-05-24T02:21:34Z)
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization [44.24881971917951]
自然政策勾配法(NPG)は、最も広く使われている政策最適化アルゴリズムの一つである。我々は,ソフトマックスパラメータ化の下で,エントロピー規則化NPG法に対する収束保証を開発する。この結果から, エントロピー正則化の役割を浮き彫りにした。
論文参考訳（メタデータ） (2020-07-13T17:58:41Z)
When Will Generative Adversarial Imitation Learning Algorithms Attain Global Convergence [56.40794592158596]
我々は,GAIL(Generative Adversarial mimicion Learning)を一般MDPおよび非線形報酬関数クラスで研究した。これは世界収束のためのGAILに関する最初の体系的理論的研究である。
論文参考訳（メタデータ） (2020-06-24T06:24:37Z)
Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
論文参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。