Fugu-MT 論文翻訳(概要): Safe Multi-Agent Reinforcement Learning with Bilevel Optimization in Autonomous Driving

論文の概要: Safe Multi-Agent Reinforcement Learning with Bilevel Optimization in Autonomous Driving

arxiv url: http://arxiv.org/abs/2405.18209v1
Date: Tue, 28 May 2024 14:15:18 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 18:19:39.660573
Title: Safe Multi-Agent Reinforcement Learning with Bilevel Optimization in Autonomous Driving
Title（参考訳）: 自律運転における二レベル最適化による安全マルチエージェント強化学習
Authors: Zhi Zheng, Shangding Gu,
Abstract要約: そこで本稿では,二段階最適化を用いたスタックルバーグモデルに基づく安全なMARL法を提案する。 Constrained Stackelberg Q-learning (CSQ) と Constrained Stackelberg Multi-Agent Deep Deterministic Policy Gradient (CS-MADDPG) の2つの実用的なアルゴリズムを開発した。 CSQ と CS-MADDPG のアルゴリズムは,Bi-AC,MACPO,MAPPO-L などの強力な MARL ベースラインよりも,報酬と安全性の面で優れていた。
参考スコア（独自算出の注目度）: 3.5293763645151404
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Ensuring safety in MARL, particularly when deploying it in real-world applications such as autonomous driving, emerges as a critical challenge. To address this challenge, traditional safe MARL methods extend MARL approaches to incorporate safety considerations, aiming to minimize safety risk values. However, these safe MARL algorithms often fail to model other agents and lack convergence guarantees, particularly in dynamically complex environments. In this study, we propose a safe MARL method grounded in a Stackelberg model with bi-level optimization, for which convergence analysis is provided. Derived from our theoretical analysis, we develop two practical algorithms, namely Constrained Stackelberg Q-learning (CSQ) and Constrained Stackelberg Multi-Agent Deep Deterministic Policy Gradient (CS-MADDPG), designed to facilitate MARL decision-making in autonomous driving applications. To evaluate the effectiveness of our algorithms, we developed a safe MARL autonomous driving benchmark and conducted experiments on challenging autonomous driving scenarios, such as merges, roundabouts, intersections, and racetracks. The experimental results indicate that our algorithms, CSQ and CS-MADDPG, outperform several strong MARL baselines, such as Bi-AC, MACPO, and MAPPO-L, regarding reward and safety performance. The demos and source code are available at {https://github.com/SafeRL-Lab/Safe-MARL-in-Autonomous-Driving.git}.
Abstract（参考訳）: MARLの安全性の確保、特に自動運転のような現実世界のアプリケーションにデプロイする場合、重要な課題として現れます。この課題に対処するため、従来の安全MARL手法は安全リスクの最小化を目的として、MARLアプローチを拡張して安全性を考慮した。しかし、これらの安全なMARLアルゴリズムは、しばしば他のエージェントをモデル化できず、特に動的に複雑な環境では収束保証が欠如している。本研究では,二段階最適化を用いたスタックルバーグモデルに基づく安全なMARL法を提案し,収束解析を行う。本理論から導かれた2つの実践的アルゴリズム,すなわち,自動走行アプリケーションにおけるMARL決定を容易にするために設計された,制約付きStackelberg Q-learning (CSQ) と制約付きStackelberg Multi-Agent Deep Deterministic Policy Gradient (CS-MADDPG) を開発した。アルゴリズムの有効性を評価するため、安全なMARL自動運転ベンチマークを開発し、マージ、ラウンドアバウンド、交差点、競馬場などの挑戦的な自動運転シナリオの実験を行った。実験の結果,CSQ と CS-MADDPG のアルゴリズムは,Bi-AC,MACPO,MAPPO-L などの強力なMARLベースラインよりも高い性能を示した。デモとソースコードは、https://github.com/SafeRL-Lab/Safe-MARL-in-Autonomous-Driving.git}で公開されている。

関連論文リスト

Safe Multi-Agent Reinforcement Learning with Convergence to Generalized Nash Equilibrium [6.169364905804677]
マルチエージェント強化学習(MARL)は協調作業において顕著な成功を収めた。 MARLエージェントを現実世界のアプリケーションにデプロイすることは、重大な安全性上の課題を示す。我々は,エージェントが訪れるすべての状態において,安全要件を強制する,$textitstate-wise$制約付き安全なMARLの新たな理論的枠組みを提案する。複雑な高次元システムにおける実践的展開のために、$textitMulti-Agent Dual Actor-Critic$ (MADAC)を提案する。
論文参考訳（メタデータ） (2024-11-22T16:08:42Z)
Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文参考訳（メタデータ） (2023-11-28T03:13:09Z)
Robust Multi-Agent Reinforcement Learning via Adversarial Regularization: Theoretical Foundation and Stable Algorithms [79.61176746380718]
MARL(Multi-Agent Reinforcement Learning)はいくつかの領域で有望な結果を示している。 MARLポリシーは、しばしば堅牢性を欠き、環境の小さな変化に敏感である。政策のリプシッツ定数を制御することにより、ロバスト性を得ることができることを示す。政策のリプシッツ連続性を促進する新しい堅牢なMARLフレームワークであるERNIEを提案する。
論文参考訳（メタデータ） (2023-10-16T20:14:06Z)
Provably Learning Nash Policies in Constrained Markov Potential Games [90.87573337770293]
マルチエージェント強化学習(MARL)は、複数のエージェントによるシーケンシャルな意思決定問題に対処する。制約マルコフゲーム(Constrained Markov Games, CMGs)は、安全なMARL問題の自然な定式化である。
論文参考訳（メタデータ） (2023-06-13T13:08:31Z)
A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
論文参考訳（メタデータ） (2023-03-07T18:29:15Z)
Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文参考訳（メタデータ） (2022-12-12T06:30:17Z)
Towards Comprehensive Testing on the Robustness of Cooperative Multi-agent Reinforcement Learning [10.132303690998523]
c-MARLアルゴリズムが実際にデプロイされる前に、ロバスト性をテストすることが重要である。 MARLの既存の敵攻撃はテストに使用できるが、1つの堅牢性に制限されている。我々は,c-MARLアルゴリズムの最初のロバストネステストフレームワークであるMARLSafeを提案する。
論文参考訳（メタデータ） (2022-04-17T05:15:51Z)
Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文参考訳（メタデータ） (2022-03-14T17:24:03Z)
Safety-aware Policy Optimisation for Autonomous Racing [17.10371721305536]
ハミルトン・ヤコビ(HJ)到達可能性理論を制約付きマルコフ決定過程(CMDP)フレームワークに導入する。我々は,HJの安全性を視覚的文脈で直接学習できることを実証した。我々は、最近リリースされた高忠実な自律走行環境であるSafety GymやLearning-to-Race (L2R)など、いくつかのベンチマークタスクにおいて、本手法の評価を行った。
論文参考訳（メタデータ） (2021-10-14T20:15:45Z)
Multi-Agent Constrained Policy Optimisation [17.772811770726296]
制約付きマルコフゲームとして安全なMARL問題を定式化し、ポリシー最適化手法を用いて解決する。マルチエージェント制約付き政策最適化 (MACPO) とMAPPO-ラグランジアン (MAPPO-Lagrangian) は、制約付き政策最適化とマルチエージェント信頼領域学習の両方から理論を利用する。我々は,様々なMARLベースラインを含むSafe Multi-Agent MuJoCoのベンチマークスイートを開発した。
論文参考訳（メタデータ） (2021-10-06T14:17:09Z)
Decision-Making under On-Ramp merge Scenarios by Distributional Soft Actor-Critic Algorithm [10.258474373022075]
SDSAC(Shield Distributional Soft Actor-critic)と呼ばれるオフライントレーニングとオンライン修正の枠組みに基づくRLベースのエンドツーエンド意思決定方法を提案する。その結果,SDSACはベースラインアルゴリズムよりも安全性が高く,運転効率も高いことがわかった。
論文参考訳（メタデータ） (2021-03-08T03:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。