論文の概要: Hierarchical Multi-Agent Reinforcement Learning with Control Barrier Functions for Safety-Critical Autonomous Systems
- arxiv url: http://arxiv.org/abs/2507.14850v1
- Date: Sun, 20 Jul 2025 07:43:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.090738
- Title: Hierarchical Multi-Agent Reinforcement Learning with Control Barrier Functions for Safety-Critical Autonomous Systems
- Title（参考訳）: 安全臨界自律システムのための制御バリア関数を用いた階層型多エージェント強化学習
- Authors: H. M. Sabbir Ahmad, Ehsan Sabouni, Alexander Wasilkoff, Param Budhraja, Zijian Guo, Songyuan Zhang, Chuchu Fan, Christos Cassandras, Wenchao Li,
- Abstract要約: 制御バリア関数(CBF)に基づく安全階層型マルチエージェント強化学習(HMARL)手法を提案する。
提案した階層的アプローチは, 総合的な強化学習問題を, より高レベルで協調行動を学び, より低レベルあるいは高レベルなエージェントレベルで安全な個人行動を学ぶ2つのレベルに分解する。
具体的には,HMARL-CBFアルゴリズムを提案する。高いレベルの問題はすべてのエージェントのスキルに関する共同政策を学習することであり,低レベルの問題はCBFで安全にスキルを実行するための学習ポリシーを学習することである。
- 参考スコア（独自算出の注目度）: 42.86066246726967
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We address the problem of safe policy learning in multi-agent safety-critical autonomous systems. In such systems, it is necessary for each agent to meet the safety requirements at all times while also cooperating with other agents to accomplish the task. Toward this end, we propose a safe Hierarchical Multi-Agent Reinforcement Learning (HMARL) approach based on Control Barrier Functions (CBFs). Our proposed hierarchical approach decomposes the overall reinforcement learning problem into two levels learning joint cooperative behavior at the higher level and learning safe individual behavior at the lower or agent level conditioned on the high-level policy. Specifically, we propose a skill-based HMARL-CBF algorithm in which the higher level problem involves learning a joint policy over the skills for all the agents and the lower-level problem involves learning policies to execute the skills safely with CBFs. We validate our approach on challenging environment scenarios whereby a large number of agents have to safely navigate through conflicting road networks. Compared with existing state of the art methods, our approach significantly improves the safety achieving near perfect (within 5%) success/safety rate while also improving performance across all the environments.
- Abstract（参考訳）: マルチエージェント型安全クリティカル自律システムにおける安全政策学習の課題に対処する。
このようなシステムでは、各エージェントが常に安全要件を満たすと同時に、そのタスクを達成するために他のエージェントと協力する必要がある。
そこで本研究では,制御バリア関数(CBF)に基づく階層型マルチエージェント強化学習(HMARL)手法を提案する。
提案した階層的アプローチは, 総合的な強化学習問題を, より高レベルで協調行動を学び, より低レベルあるいは高レベルなエージェントレベルで安全な個人行動を学ぶ2つのレベルに分解する。
具体的には,HMARL-CBFアルゴリズムを提案する。高いレベルの問題はすべてのエージェントのスキルに関する共同政策を学習することであり,低レベルの問題はCBFで安全にスキルを実行するための学習ポリシーを学習することである。
我々は,多数のエージェントが競合する道路ネットワークを安全にナビゲートしなければならない環境シナリオに対するアプローチを検証する。
従来の最先端手法と比較して,本手法は,ほぼ完全な(5%の)成功/安全率を実現するとともに,全環境における性能向上を実現している。
関連論文リスト
- Towards provable probabilistic safety for scalable embodied AI systems [79.31011047593492]
エンボディードAIシステムは、様々なアプリケーションでますます普及している。
複雑な運用環境での安全性確保は依然として大きな課題である。
提案する確率的安全性は,大規模展開の残留リスクが予め定義された閾値以下であることを保証することを目的としている。
論文 参考訳（メタデータ） (2025-06-05T15:46:25Z) - Tackling Uncertainties in Multi-Agent Reinforcement Learning through Integration of Agent Termination Dynamics [9.263837897126871]
MARL(Multi-Agent Reinforcement Learning)は、複雑な現実世界のタスクを解くために大きな注目を集めている。
これらの環境における本質性と不確実性は、効率的で堅牢な政策学習に重大な課題をもたらす。
本稿では,MARLタスクの収束性を改善するために,分散学習と安全に着目した損失関数を統合した新しい手法を提案する。
論文 参考訳（メタデータ） (2025-01-21T11:31:01Z) - Stacked Universal Successor Feature Approximators for Safety in Reinforcement Learning [1.2534672170380357]
ソフトアクター・クリティック(SAC)に適応した普遍的後継特徴近似(USFA)の積み重ね連続制御の有用性について検討した。
本手法は,実行時保証(RTA)コントローラなどのインターベンブリング二次制御器を用いて,SACベースラインと比較して二次目標の性能を向上させる。
論文 参考訳（メタデータ） (2024-09-06T22:20:07Z) - Safety-Aware Multi-Agent Learning for Dynamic Network Bridging [0.11249583407496219]
エージェントは2つの移動目標間の通信経路を維持することを学ばなければならない。
我々は,局所的な集合点更新による衝突回避を強制する制御理論安全フィルタを統合する。
その結果,分散マルチエージェントタスクにおいて,局所的安全執行と分散学習を効果的に組み合わせることが示唆された。
論文 参考訳（メタデータ） (2024-04-02T01:30:41Z) - Safeguarded Progress in Reinforcement Learning: Safe Bayesian
Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。
探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-12-18T16:09:43Z) - Learning Adaptive Safety for Multi-Agent Systems [14.076785738848924]
CBF構成により創発的行動が深く影響されることを示す。
本稿では、安全性と長期性能を高めるために、新しい適応型安全なRLフレームワークであるASRLを提案する。
ASRLをマルチロボットシステムと競合するマルチエージェントレースシナリオで評価する。
論文 参考訳（メタデータ） (2023-09-19T14:39:39Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2022-12-14T03:11:25Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Learning Safe Multi-Agent Control with Decentralized Neural Barrier
Certificates [19.261536710315028]
エージェントが静的な障害物や衝突に対する衝突を避けて目標を達成すべきマルチエージェント安全制御問題について検討する。
私達の中心の考えは安全証明書として制御障壁機能を学ぶことと複数のエージェント制御方針を共同で学ぶことです。
本稿では,特定の関数クラスに対して一般化を保証し,分散的に実装可能な新しい共同学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-14T03:17:17Z) - Neural Certificates for Safe Control Policies [108.4560749465701]
本稿では,安全かつ目標達成の両立が保証される動的システムの方針を学習するためのアプローチを開発する。
本手法の有効性は, 振り子, カートポール, UAVなどの各種システムにおいて, 安全かつ目標達成的な政策を学習するための手法の有効性を示す。
論文 参考訳（メタデータ） (2020-06-15T15:14:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。