論文の概要: Robust Lagrangian and Adversarial Policy Gradient for Robust Constrained Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2308.11267v3
• Date: Wed, 15 May 2024 14:46:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 18:31:50.418337
• Title: Robust Lagrangian and Adversarial Policy Gradient for Robust Constrained Markov Decision Processes
• Title（参考訳）: ロバスト制約マルコフ決定過程におけるロバストラグランジアンと逆数ポリシー勾配
• Authors: David M. Bossens,
• Abstract要約: 本稿では,Robust Lagrangian と Adversarial RCPG の2つのアルゴリズムについて述べる。 Robust Lagrangian による RCPG は、値や制約ではなく、ラグランジアンに基づく最悪のケースダイナミクスを取り入れて RCPG を修飾する。 逆数RCPGはまた、ラグランジアンに基づいて最悪のケースのダイナミクスを定式化するが、直接的かつ漸進的に逆数ポリシーとして学習する。
• 参考スコア（独自算出の注目度）: 5.167069404528051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The robust constrained Markov decision process (RCMDP) is a recent task-modelling framework for reinforcement learning that incorporates behavioural constraints and that provides robustness to errors in the transition dynamics model through the use of an uncertainty set. Simulating RCMDPs requires computing the worst-case dynamics based on value estimates for each state, an approach which has previously been used in the Robust Constrained Policy Gradient (RCPG). Highlighting potential downsides of RCPG such as not robustifying the full constrained objective and the lack of incremental learning, this paper introduces two algorithms, called RCPG with Robust Lagrangian and Adversarial RCPG. RCPG with Robust Lagrangian modifies RCPG by taking the worst-case dynamics based on the Lagrangian rather than either the value or the constraint. Adversarial RCPG also formulates the worst-case dynamics based on the Lagrangian but learns this directly and incrementally as an adversarial policy through gradient descent rather than indirectly and abruptly through constrained optimisation on a sorted value list. A theoretical analysis first derives the Lagrangian policy gradient for the policy optimisation of both proposed algorithms and then the adversarial policy gradient to learn the adversary for Adversarial RCPG. Empirical experiments injecting perturbations in inventory management and safe navigation tasks demonstrate the competitive performance of both algorithms compared to traditional RCPG variants as well as non-robust and non-constrained ablations. In particular, Adversarial RCPG ranks among the top two performing algorithms on all tests.
• Abstract（参考訳）: 頑健な制約付きマルコフ決定プロセス(RCMDP)は、動作制約を組み込んだ強化学習のための最近のタスクモデリングフレームワークであり、不確実性セットを用いて遷移力学モデルにおけるエラーに対して堅牢性を提供する。 RCMDPのシミュレーションには、各状態の値推定に基づいて最悪のケースのダイナミクスを計算する必要がある。 本稿では, RCPGとRobust Lagrangian, Adversarial RCPGの2つのアルゴリズムを提案する。 Robust Lagrangian による RCPG は、値や制約ではなく、ラグランジアンに基づく最悪のケースダイナミクスを取り入れて RCPG を修飾する。 逆数RCPGはまた、ラグランジアンに基づいて最悪のケースのダイナミクスを定式化するが、ソートされた値リスト上の制約付き最適化により間接的かつ突然に勾配降下よりも、直接的かつ漸進的に、逆数ポリシーとして学習する。 理論的解析は、まず、提案されたアルゴリズムのポリシー最適化のためのラグランジアンポリシー勾配を導出し、次に、逆数RCPGの逆数を学ぶための逆数ポリシー勾配を導出する。 在庫管理と安全なナビゲーションタスクに摂動を注入する実証実験は、従来のRCPGの変種と非腐食性および非拘束性アブレーションの両アルゴリズムの競合性能を示す。 特に、Adversarial RCPGは全てのテストで上位2のアルゴリズムにランクインしている。

関連論文リスト

• Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs [82.34567890576423]
  我々は,非漸近収束を伴う最適決定主義政策を求めるための決定主義的政策勾配原始双対法を開発した。 D-PGPDの一次-双対反復は、最適正則化原始-双対にサブ線形速度で収束することが証明された。 我々の知る限り、これは連続空間制約型MDPに対する決定論的ポリシー探索法を提案する最初の研究であると思われる。
  論文  参考訳（メタデータ） (2024-08-19T14:11:04Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Global Convergence of Receding-Horizon Policy Search in Learning Estimator Designs [3.0811185425377743]
  本稿では,Receding-Horizon Policy estimator (RHPG)アルゴリズムを提案する。 RHPGは、最適線形ポリシー推定器の学習において証明可能な大域収束を持つ最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2023-09-09T16:03:49Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning [17.916366827429034]
  複数の報酬値関数を持つマルコフ決定プロセス(MDP)のポリシー最適化について検討する。 本稿では,順応的な一階法からアイデアを取り入れたアンカー変更型正規化自然政策グラディエントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-10T21:09:44Z)
• Causal Policy Gradients [6.123324869194195]
  因果ポリシー勾配(CPG)は、重要な最先端アルゴリズムを分析する共通のフレームワークを提供する。 CPGは従来の政策の勾配を一般化し、問題領域の生成過程の事前知識を組み込む原則的な方法をもたらす。
  論文  参考訳（メタデータ） (2021-02-20T14:51:12Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Zeroth-order Deterministic Policy Gradient [116.87117204825105]
  ゼロ階決定主義政策グラディエント(ZDPG)を紹介する。 ZDPGは、$Q$関数の2点評価によりポリシー逆勾配を近似する。 ZDPGの新たな有限サンプル複雑性境界は、既存の結果を最大2桁改善する。
  論文  参考訳（メタデータ） (2020-06-12T16:52:29Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。