論文の概要: Decentralized Safe Multi-agent Stochastic Optimal Control using Deep
FBSDEs and ADMM
- arxiv url: http://arxiv.org/abs/2202.10658v1
- Date: Tue, 22 Feb 2022 03:57:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 16:52:44.316901
- Title: Decentralized Safe Multi-agent Stochastic Optimal Control using Deep
FBSDEs and ADMM
- Title（参考訳）: 深部FBSDEとADMMを用いた分散型マルチエージェント確率最適制御
- Authors: Marcus A. Pereira, Augustinos D. Saravanos, Oswin So and Evangelos A.
Theodorou
- Abstract要約: 本稿では,障害発生時のマルチエージェント制御のための,安全でスケーラブルな分散ソリューションを提案する。
分散化は、各エージェントの最適化変数、コピー変数、隣人への拡張によって達成される。
安全なコンセンサスソリューションを実現するために,ADMMベースのアプローチを取り入れた。
- 参考スコア（独自算出の注目度）: 16.312625634442092
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this work, we propose a novel safe and scalable decentralized solution for
multi-agent control in the presence of stochastic disturbances. Safety is
mathematically encoded using stochastic control barrier functions and safe
controls are computed by solving quadratic programs. Decentralization is
achieved by augmenting to each agent's optimization variables, copy variables,
for its neighbors. This allows us to decouple the centralized multi-agent
optimization problem. However, to ensure safety, neighboring agents must agree
on "what is safe for both of us" and this creates a need for consensus. To
enable safe consensus solutions, we incorporate an ADMM-based approach.
Specifically, we propose a Merged CADMM-OSQP implicit neural network layer,
that solves a mini-batch of both, local quadratic programs as well as the
overall consensus problem, as a single optimization problem. This layer is
embedded within a Deep FBSDEs network architecture at every time step, to
facilitate end-to-end differentiable, safe and decentralized stochastic optimal
control. The efficacy of the proposed approach is demonstrated on several
challenging multi-robot tasks in simulation. By imposing requirements on safety
specified by collision avoidance constraints, the safe operation of all agents
is ensured during the entire training process. We also demonstrate superior
scalability in terms of computational and memory savings as compared to a
centralized approach.
- Abstract（参考訳）: 本研究では,確率的障害の存在下でのマルチエージェント制御のための,安全でスケーラブルな分散ソリューションを提案する。
安全性は確率的制御障壁関数を用いて数学的に符号化され、二次プログラムの解法によって安全な制御が計算される。
分散化は、各エージェントの最適化変数を拡張し、隣接する変数をコピーすることで達成される。
これにより、集中型マルチエージェント最適化問題を分離できる。
しかし、安全を確保するため、近隣のエージェントは「私たち双方にとって安全なもの」について合意しなければなりません。
安全なコンセンサスソリューションを実現するために,ADMMベースのアプローチを導入する。
具体的には,1つの最適化問題として,局所2次プログラムと総合的なコンセンサス問題の両方のミニバッチを解く,Merged CADMM-OSQP暗黙ニューラルネットワーク層を提案する。
この層は、エンド・ツー・エンドの微分可能で安全で分散化された確率的最適制御を容易にするために、各ステップで深いfbsdesネットワークアーキテクチャに埋め込まれている。
提案手法の有効性は,複数ロボットによる複数タスクのシミュレーションにおいて実証された。
衝突回避制約によって規定された安全性に要求を課すことにより、訓練プロセス全体を通して、すべてのエージェントの安全な操作が保証される。
また,集中型手法と比較して,計算およびメモリ節約の面で優れたスケーラビリティを示す。
関連論文リスト
- Optimally Solving Simultaneous-Move Dec-POMDPs: The Sequential Central Planning Approach [0.0]
分散実行パラダイムのためのエクシロントレーニングは、分散された部分的に観察可能な意思決定プロセスを最適に解決するための最先端のアプローチとして登場した。
本稿では、分散実行のためのシーケンシャルモブ集中型トレーニングという、新しい、よりスケーラブルな代替手段を提案する。
論文 参考訳（メタデータ） (2024-08-23T15:01:37Z) - Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach [51.63921041249406]
非直交多重アクセス(Noma)により、複数のユーザが同じ周波数帯域を共有でき、同時に再構成可能なインテリジェントサーフェス(STAR-RIS)を送信および反射することができる。
STAR-RISを屋内に展開することは、干渉緩和、電力消費、リアルタイム設定における課題を提示する。
複数のアクセスポイント(AP)、STAR-RIS、NOMAを利用した新しいネットワークアーキテクチャが屋内通信のために提案されている。
論文 参考訳（メタデータ） (2024-06-19T07:17:04Z) - Learning Predictive Safety Filter via Decomposition of Robust Invariant
Set [6.94348936509225]
本稿では, RMPCとRL RLの併用による非線形システムの安全フィルタの合成について述べる。
本稿では,ロバストリーチ問題に対する政策アプローチを提案し,その複雑性を確立する。
論文 参考訳（メタデータ） (2023-11-12T08:11:28Z) - DePAint: A Decentralized Safe Multi-Agent Reinforcement Learning Algorithm considering Peak and Average Constraints [1.1549572298362787]
本稿では,この問題を解決するために,モーメントに基づく分散勾配法DePaintを提案する。
これは、ピーク制約と平均制約の両方を考慮した、プライバシ保存で完全に分散化されたマルチエージェント強化学習アルゴリズムとしては初めてのものである。
論文 参考訳（メタデータ） (2023-10-22T16:36:03Z) - Log Barriers for Safe Black-box Optimization with Application to Safe
Reinforcement Learning [72.97229770329214]
本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。
LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。
安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-21T11:14:47Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳（メタデータ） (2022-05-08T14:38:23Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳（メタデータ） (2021-06-30T16:49:07Z) - Learning Safe Multi-Agent Control with Decentralized Neural Barrier
Certificates [19.261536710315028]
エージェントが静的な障害物や衝突に対する衝突を避けて目標を達成すべきマルチエージェント安全制御問題について検討する。
私達の中心の考えは安全証明書として制御障壁機能を学ぶことと複数のエージェント制御方針を共同で学ぶことです。
本稿では,特定の関数クラスに対して一般化を保証し,分散的に実装可能な新しい共同学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-14T03:17:17Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。