論文の概要: Interpreting Primal-Dual Algorithms for Constrained MARL

• arxiv url: http://arxiv.org/abs/2211.16069v2
• Date: Thu, 1 Dec 2022 04:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 14:16:48.839963
• Title: Interpreting Primal-Dual Algorithms for Constrained MARL
• Title（参考訳）: 制約付きmarlのための原始双対アルゴリズムの解釈
• Authors: Daniel Tabas, Ahmed S. Zamzam, Baosen Zhang
• Abstract要約: ほとんどのC-MARLアルゴリズムは、報酬に付加されるペナルティ関数を通じて制約を強制するために、プリマル・デュアルアプローチを使用する。 制約関数をペナルティとして使用する標準的な慣行が安全性の弱い概念に繋がることを示す。 本稿では,制約付きマルチエージェント・アドバンスト・アクター・アトラクション (C-MAA2C) アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.67306371596399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constrained multiagent reinforcement learning (C-MARL) is gaining importance as MARL algorithms find new applications in real-world systems ranging from energy systems to drone swarms. Most C-MARL algorithms use a primal-dual approach to enforce constraints through a penalty function added to the reward. In this paper, we study the structural effects of this penalty term on the MARL problem. First, we show that the standard practice of using the constraint function as the penalty leads to a weak notion of safety. However, by making simple modifications to the penalty term, we can enforce meaningful probabilistic (chance and conditional value at risk) constraints. Second, we quantify the effect of the penalty term on the value function, uncovering an improved value estimation procedure. We use these insights to propose a constrained multiagent advantage actor critic (C-MAA2C) algorithm. Simulations in a simple constrained multiagent environment affirm that our reinterpretation of the primal-dual method in terms of probabilistic constraints is effective, and that our proposed value estimate accelerates convergence to a safe joint policy.
• Abstract（参考訳）: 制約付きマルチエージェント強化学習(C-MARL)は、MARLアルゴリズムがエネルギーシステムからドローン群まで、現実世界のシステムに新しい応用を見出すにつれ、重要性が高まっている。 ほとんどのc-marlアルゴリズムは、報酬に付加されるペナルティ関数を通じて制約を強制するために原始的アプローチを用いる。 本稿では,このペナルティ項がmarl問題に及ぼす影響について検討する。 まず,制約関数をペナルティとして使用する標準的な慣行が,安全性の弱い概念につながることを示す。 しかし、ペナルティ項に簡単な修正を加えることで、有意義な確率的制約(リスクのチャンスと条件値)を課すことができる。 次に, ペナルティ項が値関数に与える影響を定量化し, 改良された値推定法を明らかにする。 本稿では,制約付きマルチエージェント・アドバンスト・アクター・アトラクション(C-MAA2C)アルゴリズムを提案する。 単純な制約付きマルチエージェント環境におけるシミュレーションは、確率的制約の観点からの原始双対法の再解釈が有効であること、提案する値推定が安全な合同政策への収束を促進することを裏付ける。

関連論文リスト

• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• Off-Policy Primal-Dual Safe Reinforcement Learning [16.918188277722503]
  本研究では, 累積コスト推定における誤差が, 法外手法を用いた場合のコストの大幅な過小評価を引き起こすことを示す。 本稿では,予測の不確実性を考慮し,制約充足領域の政策を学習する保守的な政策最適化を提案する。 次に,評価の不確実性を徐々に減少させることにより,そのような過小評価の解消を支援するために,局所的な政策凸化を導入する。
  論文  参考訳（メタデータ） (2024-01-26T10:33:38Z)
• SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization [1.3597551064547502]
  本研究では,新しい安全強化学習アルゴリズム,セーフティ・クリティカル・ポリシー・オプティマイゼーションを導入する。 本研究では,安全制約に違反して得られる報酬を無効化する機構である安全評論家を定義した。 理論的解析により,提案アルゴリズムは安全制約への付着と報酬の最大化との間のトレードオフを自動的にバランスできることが示された。
  論文  参考訳（メタデータ） (2023-11-01T22:12:50Z)
• QFree: A Universal Value Function Factorization for Multi-Agent Reinforcement Learning [2.287186762346021]
  マルチエージェント強化学習のための共通値関数分解法QFreeを提案する。 汎用複雑なMARLベンチマーク環境において,QFreeが最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-11-01T08:07:16Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• PAC: Assisted Value Factorisation with Counterfactual Predictions in Multi-Agent Reinforcement Learning [43.862956745961654]
  多エージェント強化学習(MARL)は、値関数分解法の開発において大きな進歩をみせている。 本稿では、部分的に観測可能なMARL問題において、エージェントの動作に対する順序付けが同時に制約を課す可能性があることを示す。 最適関節動作選択の対実予測から得られる情報を活用する新しいフレームワークであるPACを提案する。
  論文  参考訳（メタデータ） (2022-06-22T23:34:30Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Conservative Distributional Reinforcement Learning with Safety Constraints [22.49025480735792]
  安全探索は、期待される長期コストが制約されるマルコフ決定問題とみなすことができる。 従来の非政治アルゴリズムは、制約付き最適化問題をラグランジアン緩和手法を導入して、対応する制約なしの双対問題に変換する。 本稿では,ポストリオ政策最適化による保守的分布最大化という,非政治的強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-18T19:45:43Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。