論文の概要: Learning Adaptive Safety for Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2309.10657v2
- Date: Wed, 4 Oct 2023 17:55:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 21:01:12.291106
- Title: Learning Adaptive Safety for Multi-Agent Systems
- Title（参考訳）: マルチエージェントシステムの学習適応安全性
- Authors: Luigi Berducci, Shuo Yang, Rahul Mangharam, Radu Grosu
- Abstract要約: CBF構成により創発的行動が深く影響されることを示す。
本稿では、安全性と長期性能を高めるために、新しい適応型安全なRLフレームワークであるASRLを提案する。
ASRLをマルチロボットシステムと競合するマルチエージェントレースシナリオで評価する。
- 参考スコア（独自算出の注目度）: 14.076785738848924
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Ensuring safety in dynamic multi-agent systems is challenging due to limited
information about the other agents. Control Barrier Functions (CBFs) are
showing promise for safety assurance but current methods make strong
assumptions about other agents and often rely on manual tuning to balance
safety, feasibility, and performance. In this work, we delve into the problem
of adaptive safe learning for multi-agent systems with CBF. We show how
emergent behavior can be profoundly influenced by the CBF configuration,
highlighting the necessity for a responsive and dynamic approach to CBF design.
We present ASRL, a novel adaptive safe RL framework, to fully automate the
optimization of policy and CBF coefficients, to enhance safety and long-term
performance through reinforcement learning. By directly interacting with the
other agents, ASRL learns to cope with diverse agent behaviours and maintains
the cost violations below a desired limit. We evaluate ASRL in a multi-robot
system and a competitive multi-agent racing scenario, against learning-based
and control-theoretic approaches. We empirically demonstrate the efficacy and
flexibility of ASRL, and assess generalization and scalability to
out-of-distribution scenarios. Code and supplementary material are public
online.
- Abstract（参考訳）: 動的マルチエージェントシステムにおける安全性の確保は、他のエージェントに関する情報が限られているため困難である。
制御バリア関数(CBF)は安全性の保証を約束しているが、現在の手法は他のエージェントに対して強い仮定をしており、安全、実現可能性、パフォーマンスのバランスをとるために手動チューニングに依存していることが多い。
本研究では,CBFを用いたマルチエージェントシステムにおける適応型安全学習の問題について検討する。
そこで本研究では,CBF設計に対する応答性および動的アプローチの必要性を強調し,CBF構成により創発的行動が深く影響されることを示す。
我々は,新しい適応型安全rlフレームワークasrlを提案し,ポリシー係数とcbf係数の最適化を完全自動化し,強化学習による安全性と長期的な性能を向上させる。
他のエージェントと直接対話することで、ASRLは多様なエージェントの動作に対処し、所望の限界以下のコスト違反を維持することを学ぶ。
学習ベースおよび制御理論に基づくアプローチに対して,マルチロボットシステムと競合するマルチエージェントレースシナリオでASRLを評価する。
我々は,asrlの有効性と柔軟性を実証し,分散シナリオへの一般化と拡張性を評価する。
コードと補足資料はオンラインで公開されている。
関連論文リスト
- Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models [94.39278422567955]
人間の嗜好を微調整した大型言語モデル(LLM)は、その能力向上に成功している。
しかし、微調整中のLLMの安全性確保は依然として重要な懸念事項である。
本稿では,BFPO(Bi-Factorial Preference Optimization)と呼ばれる教師あり学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-27T17:31:21Z) - Towards Safe Load Balancing based on Control Barrier Functions and Deep
Reinforcement Learning [0.691367883100748]
我々は,SD-WAN(Software Defined-Wide Area Network)のための安全な学習に基づくロードバランシングアルゴリズムを提案する。
制御バリア関数(CBF)を併用した深層強化学習(DRL)によって強化される。
提案手法は,リンク容量制約に関する安全性要件を尊重しつつ,エンドツーエンドの遅延の観点から,ほぼ最適品質(QoS)を提供することを示す。
論文 参考訳（メタデータ） (2024-01-10T19:43:12Z) - Approximate Model-Based Shielding for Safe Reinforcement Learning [83.55437924143615]
本稿では,学習したRLポリシーの性能を検証するための,原則的ルックアヘッド遮蔽アルゴリズムを提案する。
我々のアルゴリズムは他の遮蔽手法と異なり、システムの安全性関連力学の事前知識を必要としない。
我々は,国家依存型安全ラベルを持つアタリゲームにおいて,他の安全を意識したアプローチよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-27T15:19:45Z) - Risk-aware Safe Control for Decentralized Multi-agent Systems via
Dynamic Responsibility Allocation [36.52509571098292]
我々は,個別のエージェントが他者との衝突を避けるためにどの程度の責任を負うべきかに関するガイダンスを提供する,リスク対応の分散制御フレームワークを提案する。
本研究では,移動不確実性下での衝突により発生する危険物質を特徴付けるために,新しい制御バリア関数(CBF)によるリスク測定を提案する。
ロボットの柔軟性を低いリスクで活用し、より高いリスクを持つ人の動きの柔軟性を向上させることで、集団安全性を向上させることができる。
論文 参考訳（メタデータ） (2023-05-22T20:21:49Z) - A Multiplicative Value Function for Safe and Efficient Reinforcement
Learning [131.96501469927733]
本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。
安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。
安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
論文 参考訳（メタデータ） (2023-03-07T18:29:15Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2022-12-14T03:11:25Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Robust Policy Learning over Multiple Uncertainty Sets [91.67120465453179]
強化学習(RL)エージェントは、安全クリティカルな環境の変動に対して堅牢である必要がある。
システム識別とロバストRLの両方の利点を享受するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-02-14T20:06:28Z) - Relative Distributed Formation and Obstacle Avoidance with Multi-agent
Reinforcement Learning [20.401609420707867]
マルチエージェント強化学習(MARL)に基づく分散生成・障害物回避手法を提案する。
提案手法は, 障害物回避における生成誤差, 生成収束率, オンパー成功率に関して, ベースラインと比較して高い性能を実現する。
論文 参考訳（メタデータ） (2021-11-14T13:02:45Z) - Learning Safe Multi-Agent Control with Decentralized Neural Barrier
Certificates [19.261536710315028]
エージェントが静的な障害物や衝突に対する衝突を避けて目標を達成すべきマルチエージェント安全制御問題について検討する。
私達の中心の考えは安全証明書として制御障壁機能を学ぶことと複数のエージェント制御方針を共同で学ぶことです。
本稿では,特定の関数クラスに対して一般化を保証し,分散的に実装可能な新しい共同学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-14T03:17:17Z) - Safe Multi-Agent Interaction through Robust Control Barrier Functions
with Learned Uncertainties [36.587645093055926]
マルチエージェント制御バリア関数(CBF)は、マルチエージェント環境における安全性を保証するための計算効率の高いツールとして登場した。
この研究は、行列-変数ガウス過程モデルを用いて、これらの動的不確実性に対する高信頼境界を学習することを目的としている。
結果のmin-maxロバストCBFを2次プログラムに変換し、リアルタイムに効率よく解けるようにする。
論文 参考訳（メタデータ） (2020-04-11T00:56:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。