Fugu-MT 論文翻訳(概要): Performance of NPG in Countable State-Space Average-Cost RL

論文の概要: Performance of NPG in Countable State-Space Average-Cost RL

arxiv url: http://arxiv.org/abs/2405.20467v1
Date: Thu, 30 May 2024 20:29:52 GMT
ステータス: 処理完了
システム内更新日: 2024-06-03 18:14:59.014067
Title: Performance of NPG in Countable State-Space Average-Cost RL
Title（参考訳）: カウント可能な状態空間平均コストRLにおけるNPGの性能
Authors: Yashaswini Murthy, Isaac Grosof, Siva Theja Maguluri, R. Srikant,
Abstract要約: 状態空間が任意に大きい強化学習環境における政策最適化手法を検討する。モチベーションは、通信ネットワーク、マッチングマーケット、その他のキューシステムにおける制御問題から生じる。
参考スコア（独自算出の注目度）: 12.949520455740092
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider policy optimization methods in reinforcement learning settings where the state space is arbitrarily large, or even countably infinite. The motivation arises from control problems in communication networks, matching markets, and other queueing systems. We consider Natural Policy Gradient (NPG), which is a popular algorithm for finite state spaces. Under reasonable assumptions, we derive a performance bound for NPG that is independent of the size of the state space, provided the error in policy evaluation is within a factor of the true value function. We obtain this result by establishing new policy-independent bounds on the solution to Poisson's equation, i.e., the relative value function, and by combining these bounds with previously known connections between MDPs and learning from experts.
Abstract（参考訳）: 状態空間が任意に大きい、あるいは数え切れないほど無限である強化学習環境におけるポリシー最適化手法を検討する。モチベーションは、通信ネットワーク、マッチングマーケット、その他のキューシステムにおける制御問題から生じる。有限状態空間に対する一般的なアルゴリズムであるNatural Policy Gradient (NPG) を考える。妥当な仮定の下では、政策評価における誤差が真値関数の係数の範囲内であれば、状態空間のサイズに依存しないNPGのパフォーマンス境界を導出する。この結果は、ポアソン方程式、すなわち相対値関数の解に対する新たなポリシーに依存しない境界を確立し、これらの境界をMDPと専門家からの学習の間の既知の接続と組み合わせることで得られる。

関連論文リスト

Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs [82.34567890576423]
我々は,非漸近収束を伴う最適決定主義政策を求めるための決定主義的政策勾配原始双対法を開発した。 D-PGPDの一次-双対反復は、最適正則化原始-双対にサブ線形速度で収束することが証明された。我々の知る限り、これは連続空間制約型MDPに対する決定論的ポリシー探索法を提案する最初の研究であると思われる。
論文参考訳（メタデータ） (2024-08-19T14:11:04Z)
Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
論文参考訳（メタデータ） (2024-07-15T14:54:57Z)
Convergence for Natural Policy Gradient on Infinite-State Queueing MDPs [14.14642081068942]
様々な待ち行列系は自然に無限状態マルコフ決定過程(MDP)としてモデル化できる強化学習(RL)の文脈では、これらのMDPを学習し、最適化するために様々なアルゴリズムが開発されている。ナチュラル・アクター・クリティカル、TRPO、PPOなど、多くの一般的なポリシーに基づく学習アルゴリズムの中心に、Natural Policy Gradient(NPG)ポリシー最適化アルゴリズムがある。
論文参考訳（メタデータ） (2024-02-07T21:43:57Z)
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
論文参考訳（メタデータ） (2023-06-20T17:27:31Z)
Trust-Region-Free Policy Optimization for Stochastic Policies [60.52463923712565]
本研究では,政策に対する信頼領域の制約が,基礎となるモノトニック改善の保証を損なうことなく,信頼領域のない制約によって安全に置き換えられることを示す。我々は,TREFree(Trust-Region-Free Policy Optimization)と呼ばれるアルゴリズムを,信頼領域の制約が不要であるとして明示する。
論文参考訳（メタデータ） (2023-02-15T23:10:06Z)
Convergence and sample complexity of natural policy gradient primal-dual methods for constrained MDPs [21.347689976296834]
我々は、割引された最適レート問題を解くために、自然政策勾配法を用いる。また、2つのサンプルベースNPG-PDアルゴリズムに対して収束と有限サンプル保証を提供する。
論文参考訳（メタデータ） (2022-06-06T04:28:04Z)
Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文参考訳（メタデータ） (2021-12-01T23:15:09Z)
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes [0.0]
システム力学と測定チャネルモデルが知られていると仮定したPOMDPの計画問題について検討する。軽度非線形フィルタ安定性条件下で近似的信念モデルに対する最適ポリシーを求める。また、有限ウィンドウメモリサイズと近似誤差境界を関連づけた収束結果のレートを確立する。
論文参考訳（メタデータ） (2020-10-15T00:37:51Z)
Queueing Network Controls via Deep Reinforcement Learning [0.0]
待ち行列ネットワークのためのポリシ最適化アルゴリズムを開発した。このアルゴリズムは、文学における最先端よりも優れた制御ポリシーを一貫して生成する。 PPOアルゴリズムの成功の鍵は、相対値関数を推定するために3つの分散還元技術を使用することである。
論文参考訳（メタデータ） (2020-07-31T01:02:57Z)
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization [44.24881971917951]
自然政策勾配法(NPG)は、最も広く使われている政策最適化アルゴリズムの一つである。我々は,ソフトマックスパラメータ化の下で,エントロピー規則化NPG法に対する収束保証を開発する。この結果から, エントロピー正則化の役割を浮き彫りにした。
論文参考訳（メタデータ） (2020-07-13T17:58:41Z)
Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。