論文の概要: Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence

• arxiv url: http://arxiv.org/abs/2105.11066v1
• Date: Mon, 24 May 2021 02:21:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:22:24.989796
• Title: Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence
• Title（参考訳）: 正規化強化学習のためのポリシーミラーディッセンス:線形収束を用いた一般化フレームワーク
• Authors: Wenhao Zhan, Shicong Cen, Baihe Huang, Yuxin Chen, Jason D. Lee, Yuejie Chi
• Abstract要約: 本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
• 参考スコア（独自算出の注目度）: 60.20076757208645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy optimization, which learns the policy of interest by maximizing the value function via large-scale optimization techniques, lies at the heart of modern reinforcement learning (RL). In addition to value maximization, other practical considerations arise commonly as well, including the need of encouraging exploration, and that of ensuring certain structural properties of the learned policy due to safety, resource and operational constraints. These considerations can often be accounted for by resorting to regularized RL, which augments the target value function with a structure-promoting regularization term. Focusing on an infinite-horizon discounted Markov decision process, this paper proposes a generalized policy mirror descent (GPMD) algorithm for solving regularized RL. As a generalization of policy mirror descent Lan (2021), the proposed algorithm accommodates a general class of convex regularizers as well as a broad family of Bregman divergence in cognizant of the regularizer in use. We demonstrate that our algorithm converges linearly over an entire range of learning rates, in a dimension-free fashion, to the global solution, even when the regularizer lacks strong convexity and smoothness. In addition, this linear convergence feature is provably stable in the face of inexact policy evaluation and imperfect policy updates. Numerical experiments are provided to corroborate the applicability and appealing performance of GPMD.
• Abstract（参考訳）: 大規模最適化手法によって価値関数を最大化することで関心の政策を学習する政策最適化は、現代強化学習(RL)の中心にある。 価値の最大化に加えて、探索を奨励する必要性や、安全性、資源、運用上の制約による学習方針の構造的特性の確保など、他の実践的な考察も一般的である。 これらの考慮は、ターゲット値関数を構造的動機付け正規化項で拡張する正規化 RL を利用することで、しばしば説明できる。 本稿では、無限水平割引マルコフ決定過程に着目し、正規化RLを解くための一般化ポリシーミラー降下(GPMD)アルゴリズムを提案する。 ポリシーミラー降下ラン(2021)の一般化として,提案アルゴリズムは一般の凸正則化器のクラスと,使用中の正則化器の認識におけるブレグマン分散の幅広いファミリーに対応している。 正規化器が強い凸性と滑らかさを欠いている場合でも,このアルゴリズムは,次元フリーな方法で,全学習率に対して線形収束することを示す。 さらに、この線形収束機能は、不十分なポリシー評価と不完全なポリシー更新に直面して確実に安定している。 GPMDの適用性と魅力を相関させる数値実験を行った。

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• A Novel Framework for Policy Mirror Descent with General Parameterization and Linear Convergence [15.807079236265714]
  ミラー降下に基づくポリシー最適化のための新しいフレームワークを提案する。 一般パラメータ化を含む政策次数法に対して線形収束を保証する最初の結果を得る。
  論文  参考訳（メタデータ） (2023-01-30T18:21:48Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• Policy Optimization over General State and Action Spaces [3.722665817361884]
  一般的な状態や行動空間に対する強化学習(RL)問題は非常に難しい。 まず,最近開発された一般状態と行動空間を扱うために,政策ミラー降下法をかなり一般化した手法を提案する。 本手法に関数近似を組み込む新しい手法を導入し、明示的なポリシーパラメータ化を全く必要としない。
  論文  参考訳（メタデータ） (2022-11-30T03:44:44Z)
• Policy Gradient for Reinforcement Learning with General Utilities [50.65940899590487]
  強化学習(Reinforcement Learning, RL)では、エージェントの目標は、期待される累積報酬を最大化する最適なポリシーを見つけることである。 教師なしと教師なしのRL問題の多くは、LLフレームワークには含まれていない。 一般ユーティリティによるRLのポリシー勾配定理を導出する。
  論文  参考訳（メタデータ） (2022-10-03T14:57:46Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)
• Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization [44.24881971917951]
  自然政策勾配法(NPG)は、最も広く使われている政策最適化アルゴリズムの一つである。 我々は,ソフトマックスパラメータ化の下で,エントロピー規則化NPG法に対する収束保証を開発する。 この結果から, エントロピー正則化の役割を浮き彫りにした。
  論文  参考訳（メタデータ） (2020-07-13T17:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。