論文の概要: Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2309.01922v3
• Date: Fri, 2 Feb 2024 19:37:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 05:17:37.603429
• Title: Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
• Title（参考訳）: Infinite Horizon Average Reward Markov決定過程におけるポリシー勾配アルゴリズムの回帰解析
• Authors: Qinbo Bai, Washim Uddin Mondal, Vaneet Aggarwal
• Abstract要約: 我々は、無限水平平均報酬マルコフ決定過程(MDP)を考える。 政策勾配に基づくアルゴリズムを提案し,その大域収束特性を示す。 提案アルゴリズムが $tildemathcalO(T3/4)$ regret であることを示す。
• 参考スコア（独自算出の注目度）: 38.879933964474326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider an infinite horizon average reward Markov Decision Process (MDP). Distinguishing itself from existing works within this context, our approach harnesses the power of the general policy gradient-based algorithm, liberating it from the constraints of assuming a linear MDP structure. We propose a policy gradient-based algorithm and show its global convergence property. We then prove that the proposed algorithm has $\tilde{\mathcal{O}}({T}^{3/4})$ regret. Remarkably, this paper marks a pioneering effort by presenting the first exploration into regret-bound computation for the general parameterized policy gradient algorithm in the context of average reward scenarios.
• Abstract（参考訳）: 本稿では、無限水平平均報酬マルコフ決定過程(MDP)について考察する。 この文脈における既存の作品と区別して、我々のアプローチは一般的なポリシー勾配に基づくアルゴリズムの力を利用し、線形mdp構造を仮定する制約から解放する。 政策勾配に基づくアルゴリズムを提案し,その大域収束特性を示す。 次に、提案アルゴリズムが$\tilde{\mathcal{o}}({t}^{3/4})$ regretであることを証明する。 本稿は,平均報酬シナリオの文脈において,一般パラメータ化ポリシ勾配アルゴリズムの残差計算に関する最初の研究を行ない,先駆的な試みである。

関連論文リスト

• On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes [50.68789924454235]
  我々は、平均報酬マルコフ決定過程(MDP)の文脈における政策勾配の最初の有限時間大域収束解析を示す。 我々の分析によると、ポリシー勾配は、$Oleft(frac1Tright)$のサブリニアレートで最適ポリシーに収束し、$Oleft(log(T)right)$ regretに変換され、$T$は反復数を表す。
  論文  参考訳（メタデータ） (2024-03-11T15:25:03Z)
• Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm [34.593772931446125]
  本稿では, 制約を適切に管理し, グローバルな最適政策の実現に向けて, 後悔の少ない保証を確実にする主元的二元的ポリシー勾配アルゴリズムを提案する。 提案アルゴリズムは, 目的的後悔に対して$tildemathcalO(T4/5) $tildemathcalO(T4/5)$ 制約違反境界を達成する。
  論文  参考訳（メタデータ） (2024-02-03T05:35:58Z)
• A Policy Gradient Method for Confounded POMDPs [7.75007282943125]
  オフライン環境下での連続状態と観測空間を持つ部分観測可能マルコフ決定過程(POMDP)の整合化のためのポリシー勾配法を提案する。 まず、オフラインデータを用いて、POMDPの履歴依存ポリシー勾配を非パラメトリックに推定するために、新しい識別結果を確立する。
  論文  参考訳（メタデータ） (2023-05-26T16:48:05Z)
• Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Conservative Natural Policy Gradient Primal-Dual Algorithm [42.83837408373223]
  連続状態-作用空間におけるマルコフ決定過程(CMDP)の問題点を考察する。 本稿では,ゼロ制約違反を実現するために,新しい保守的自然ポリシーグラディエント・プライマル・ダイアルアルゴリズム(C-NPG-PD)を提案する。
  論文  参考訳（メタデータ） (2022-06-12T22:31:43Z)
• On the Linear convergence of Natural Policy Gradient Algorithm [5.027714423258537]
  強化学習に対する近年の関心は、最適化に触発された手法の研究の動機となった。 このうち自然政策グラディエント(Natural Policy Gradient)は、MDPのミラー降下型である。 改良された有限時間収束境界を示し,このアルゴリズムが幾何収束率を持つことを示す。
  論文  参考訳（メタデータ） (2021-05-04T11:26:12Z)
• Softmax Policy Gradient Methods Can Take Exponential Time to Converge [60.98700344526674]
  Softmax Policy gradient(PG)メソッドは、現代の強化学習におけるポリシー最適化の事実上の実装の1つです。 ソフトマックス PG 法は、$mathcalS|$ および $frac11-gamma$ の観点から指数時間で収束できることを実証する。
  論文  参考訳（メタデータ） (2021-02-22T18:56:26Z)
• Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
  平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。 ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。 そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-08T00:43:04Z)
• Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes [112.38662246621969]
  強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。 我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。 ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
  論文  参考訳（メタデータ） (2020-10-16T15:15:42Z)
• Statistically Efficient Off-Policy Policy Gradients [80.42316902296832]
  政治外のデータから政策勾配を統計的に効率的に推定する。 パラメトリックな仮定を伴わずに下界を実現するメタアルゴリズムを提案する。 我々は、新たな推定政策勾配の方向へ進む際に、定常点に近づく速度の保証を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。