論文の概要: Interpreting Primal-Dual Algorithms for Constrained MARL

• arxiv url: http://arxiv.org/abs/2211.16069v1
• Date: Tue, 29 Nov 2022 10:23:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 18:18:01.680806
• Title: Interpreting Primal-Dual Algorithms for Constrained MARL
• Title（参考訳）: 制約付きmarlのための原始双対アルゴリズムの解釈
• Authors: Daniel Tabas, Ahmed S. Zamzam, Baosen Zhang
• Abstract要約: 本研究では,本手法が制約や値関数に与える影響について検討した。 一次双対法の値関数に対する構造的効果を利用して、値推定を改良する。
• 参考スコア（独自算出の注目度）: 4.67306371596399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constrained multiagent reinforcement learning (C-MARL) is gaining importance as MARL algorithms find new applications in real-world systems ranging from energy systems to drone swarms. Most C-MARL algorithms use a primal-dual approach to enforce constraints through a penalty function added to the reward. In this paper, we study the structural effects of the primal-dual approach on the constraints and value function. First, we show that using the constraint evaluation as the penalty leads to a weak notion of safety, but by making simple modifications to the penalty function, we can enforce meaningful probabilistic safety constraints. Second, we exploit the structural effects of primal-dual methods on value functions, leading to improved value estimates. Simulations in a simple constrained multiagent environment show that our reinterpretation of the primal-dual method in terms of probabilistic constraints is meaningful, and that our proposed value estimation procedure improves convergence to a safe joint policy.
• Abstract（参考訳）: 制約付きマルチエージェント強化学習(C-MARL)は、MARLアルゴリズムがエネルギーシステムからドローン群まで、現実世界のシステムに新しい応用を見出すにつれ、重要性が高まっている。 ほとんどのc-marlアルゴリズムは、報酬に付加されるペナルティ関数を通じて制約を強制するために原始的アプローチを用いる。 本稿では,本手法の制約と価値関数に対する構造的効果について検討する。 まず,制約評価をペナルティとして用いると安全概念が弱くなるが,ペナルティ関数に簡単な修正を加えることで,有意義な確率的安全性制約を課すことができることを示す。 第二に、一次双対法の値関数に対する構造効果を利用して、値推定を改善する。 単純な制約付きマルチエージェント環境におけるシミュレーションにより,本手法の確率的制約による再解釈は有意義であり,提案手法は安全な共同政策への収束性を向上させる。

関連論文リスト

• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• Off-Policy Primal-Dual Safe Reinforcement Learning [16.918188277722503]
  本研究では, 累積コスト推定における誤差が, 法外手法を用いた場合のコストの大幅な過小評価を引き起こすことを示す。 本稿では,予測の不確実性を考慮し,制約充足領域の政策を学習する保守的な政策最適化を提案する。 次に,評価の不確実性を徐々に減少させることにより,そのような過小評価の解消を支援するために,局所的な政策凸化を導入する。
  論文  参考訳（メタデータ） (2024-01-26T10:33:38Z)
• SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization [1.3597551064547502]
  本研究では,新しい安全強化学習アルゴリズム,セーフティ・クリティカル・ポリシー・オプティマイゼーションを導入する。 本研究では,安全制約に違反して得られる報酬を無効化する機構である安全評論家を定義した。 理論的解析により,提案アルゴリズムは安全制約への付着と報酬の最大化との間のトレードオフを自動的にバランスできることが示された。
  論文  参考訳（メタデータ） (2023-11-01T22:12:50Z)
• QFree: A Universal Value Function Factorization for Multi-Agent Reinforcement Learning [2.287186762346021]
  マルチエージェント強化学習のための共通値関数分解法QFreeを提案する。 汎用複雑なMARLベンチマーク環境において,QFreeが最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-11-01T08:07:16Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• PAC: Assisted Value Factorisation with Counterfactual Predictions in Multi-Agent Reinforcement Learning [43.862956745961654]
  多エージェント強化学習(MARL)は、値関数分解法の開発において大きな進歩をみせている。 本稿では、部分的に観測可能なMARL問題において、エージェントの動作に対する順序付けが同時に制約を課す可能性があることを示す。 最適関節動作選択の対実予測から得られる情報を活用する新しいフレームワークであるPACを提案する。
  論文  参考訳（メタデータ） (2022-06-22T23:34:30Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Conservative Distributional Reinforcement Learning with Safety Constraints [22.49025480735792]
  安全探索は、期待される長期コストが制約されるマルコフ決定問題とみなすことができる。 従来の非政治アルゴリズムは、制約付き最適化問題をラグランジアン緩和手法を導入して、対応する制約なしの双対問題に変換する。 本稿では,ポストリオ政策最適化による保守的分布最大化という,非政治的強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-18T19:45:43Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。