論文の概要: Adaptive Primal-Dual Method for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2402.00355v1
• Date: Thu, 1 Feb 2024 05:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 16:27:39.989531
• Title: Adaptive Primal-Dual Method for Safe Reinforcement Learning
• Title（参考訳）: 安全強化学習のための適応的原始双対法
• Authors: Weiqin Chen, James Onyejizu, Long Vu, Lan Hoang, Dharmashankar Subramanian, Koushik Kar, Sandipan Mishra and Santiago Paternain
• Abstract要約: 安全強化学習(SRL)のための適応的原始双対法(APD)を提案し,解析し,評価する。 2つの適応LRをラグランジアン乗算器に調整し、各イテレーションにおけるポリシーを最適化する。 実験により、実用的なAPDアルゴリズムは、一定のLRの場合よりも、より安定したトレーニングを達成する(または同等の性能を達成する)ことが示されている。
• 参考スコア（独自算出の注目度）: 9.5147410074115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Primal-dual methods have a natural application in Safe Reinforcement Learning (SRL), posed as a constrained policy optimization problem. In practice however, applying primal-dual methods to SRL is challenging, due to the inter-dependency of the learning rate (LR) and Lagrangian multipliers (dual variables) each time an embedded unconstrained RL problem is solved. In this paper, we propose, analyze and evaluate adaptive primal-dual (APD) methods for SRL, where two adaptive LRs are adjusted to the Lagrangian multipliers so as to optimize the policy in each iteration. We theoretically establish the convergence, optimality and feasibility of the APD algorithm. Finally, we conduct numerical evaluation of the practical APD algorithm with four well-known environments in Bullet-Safey-Gym employing two state-of-the-art SRL algorithms: PPO-Lagrangian and DDPG-Lagrangian. All experiments show that the practical APD algorithm outperforms (or achieves comparable performance) and attains more stable training than the constant LR cases. Additionally, we substantiate the robustness of selecting the two adaptive LRs by empirical evidence.
• Abstract（参考訳）: 厳密な政策最適化問題として提案される安全強化学習(SRL)において,本手法は自然な応用である。 しかし,学習率 (LR) とラグランジアン乗算器 (デュアル変数) の相互依存性により, SRL に原始双対法を適用することは困難である。 本稿では,2つの適応LRをラグランジアン乗算器に調整し,各イテレーションのポリシーを最適化する,SRLの適応原始双対法(APD)を提案,解析,評価する。 我々は理論的に, apdアルゴリズムの収束, 最適性, 実現可能性を確立する。 最後に,PPO-LagrangianとDDPG-Lagrangianの2つの最先端SRLアルゴリズムを用いて,Bullet-Safey-Gymの4つのよく知られた環境を用いた実用的なAPDアルゴリズムの数値評価を行った。 全ての実験により、実用的なAPDアルゴリズムは、一定のLRの場合よりも、より安定したトレーニングを達成する(または同等の性能を達成する)ことが示されている。 さらに,2つの適応LRを選択する頑健さを実証的証拠によって裏付ける。

関連論文リスト

• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• Two-Stage ML-Guided Decision Rules for Sequential Decision Making under Uncertainty [55.06411438416805]
  SDMU (Sequential Decision Making Under Uncertainty) は、エネルギー、金融、サプライチェーンといった多くの領域において、ユビキタスである。 いくつかのSDMUは、自然にマルチステージ問題(MSP)としてモデル化されているが、結果として得られる最適化は、計算の観点からは明らかに困難である。 本稿では,2段階の一般決定規則(TS-GDR)を導入し,線形関数を超えて政策空間を一般化する手法を提案する。 TS-GDRの有効性は、TS-LDR(Two-Stage Deep Decision Rules)と呼ばれるディープリカレントニューラルネットワークを用いたインスタンス化によって実証される。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• DPO: Differential reinforcement learning with application to optimal configuration search [3.2857981869020327]
  連続状態と行動空間による強化学習は、この分野における最も困難な問題の1つである。 限られたトレーニングサンプルと短いエピソードで設定を処理できる最初の微分RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-24T03:11:12Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• A Policy Efficient Reduction Approach to Convex Constrained Deep Reinforcement Learning [2.811714058940267]
  本稿では,最小基準点法(MNP)を一般化した条件勾配型アルゴリズムを提案する。 提案手法は,メモリコストを桁違いに削減し,その性能と効率を両立させる。
  論文  参考訳（メタデータ） (2021-08-29T20:51:32Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)
• Mixed Reinforcement Learning with Additive Stochastic Uncertainty [19.229447330293546]
  強化学習 (Reinforcement Learning, RL) 法は、しばしば最適なポリシーを探索するための大規模な探索データに依存し、サンプリング効率の低下に悩まされる。 本稿では, 環境力学の2つの表現を同時に利用して, 最適ポリシーを探索する混合RLアルゴリズムを提案する。 混合RLの有効性は、非アフィン非線形系の典型的な最適制御問題によって実証される。
  論文  参考訳（メタデータ） (2020-02-28T08:02:34Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。