論文の概要: Planning Not to Talk: Multiagent Systems that are Robust to Communication Loss

• arxiv url: http://arxiv.org/abs/2201.06619v1
• Date: Mon, 17 Jan 2022 20:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 17:06:27.551244
• Title: Planning Not to Talk: Multiagent Systems that are Robust to Communication Loss
• Title（参考訳）: 話さないように計画する - コミュニケーション損失にロバストなマルチエージェントシステム
• Authors: Mustafa O. Karabag, Cyrus Neary, Ufuk Topcu
• Abstract要約: 我々は,コミュニケーションにおける潜在的な損失に対して堅牢な協調型マルチエージェントシステムのための共同政策を開発する。 より具体的には、到達不能な目的を持つマルコフゲームのための共同ポリシーを開発する。
• 参考スコア（独自算出の注目度）: 29.620011020142726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a cooperative multiagent system, a collection of agents executes a joint policy in order to achieve some common objective. The successful deployment of such systems hinges on the availability of reliable inter-agent communication. However, many sources of potential disruption to communication exist in practice, such as radio interference, hardware failure, and adversarial attacks. In this work, we develop joint policies for cooperative multiagent systems that are robust to potential losses in communication. More specifically, we develop joint policies for cooperative Markov games with reach-avoid objectives. First, we propose an algorithm for the decentralized execution of joint policies during periods of communication loss. Next, we use the total correlation of the state-action process induced by a joint policy as a measure of the intrinsic dependencies between the agents. We then use this measure to lower-bound the performance of a joint policy when communication is lost. Finally, we present an algorithm that maximizes a proxy to this lower bound in order to synthesize minimum-dependency joint policies that are robust to communication loss. Numerical experiments show that the proposed minimum-dependency policies require minimal coordination between the agents while incurring little to no loss in performance; the total correlation value of the synthesized policy is one fifth of the total correlation value of the baseline policy which does not take potential communication losses into account. As a result, the performance of the minimum-dependency policies remains consistently high regardless of whether or not communication is available. By contrast, the performance of the baseline policy decreases by twenty percent when communication is lost.
• Abstract（参考訳）: 協調型マルチエージェントシステムでは、エージェントの集合が共通の目的を達成するために共同ポリシーを実行する。 このようなシステムのデプロイの成功は、信頼できるエージェント間通信の可用性にかかっている。 しかし、無線の干渉、ハードウェアの故障、敵対的な攻撃など、通信に破壊をもたらす可能性のある多くのソースが存在する。 本研究では,コミュニケーションの潜在的な損失に対してロバストな協調マルチエージェントシステムのための共同政策を策定する。 より具体的には、リーチ回避目的の協調マルコフゲームのための共同ポリシーを開発する。 まず,コミュニケーション損失の期間に共同政策を分散的に実行するためのアルゴリズムを提案する。 次に,協調政策によって引き起こされる状態行動過程の全体相関を,エージェント間の内在的依存関係の尺度として用いる。 次に、この手段を用いて、コミュニケーションが失われる際の共同政策のパフォーマンスを低くする。 最後に,この下位境界に対するプロキシを最大化して,通信損失に対して堅牢な最小依存性のジョイントポリシを合成するアルゴリズムを提案する。 数値実験により, 提案する最小依存政策では, エージェント間の調整が最小限に抑えられるが, 性能の低下は少ないが, 総合政策の総相関値は, 潜在的な通信損失を考慮しないベースライン政策の総相関値の5分の1であることがわかった。 その結果、通信が可能かどうかに関わらず、最小依存ポリシーのパフォーマンスは一貫して高いままである。 対照的に、通信が失われると、ベースラインポリシーのパフォーマンスは20%低下します。

関連論文リスト

• Communication Learning in Multi-Agent Systems from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 本稿では,各エージェントに対して時間的ゲーティング機構を導入し,ある時間に共有情報を受信するかどうかの動的決定を可能にする。
  論文  参考訳（メタデータ） (2024-11-01T05:56:51Z)
• AgentMixer: Multi-Agent Correlated Policy Factorization [39.041191852287525]
  エージェントがそれらのポリシーを関連付けるためのメカニズムを提供するために、テクストゥラティクスの修正を導入する。 本稿では,個別の可観測ポリシの非線形結合として,完全可観測ポリシを構成する新しいフレームワークであるAgentMixerを提案する。 AgentMixerは$epsilon$-approximate Correlated Equilibriumに収束することを示す。
  論文  参考訳（メタデータ） (2024-01-16T15:32:41Z)
• Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems [51.6210785955659]
  多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。 しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。 本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
  論文  参考訳（メタデータ） (2022-06-21T07:32:18Z)
• Coordinating Policies Among Multiple Agents via an Intelligent Communication Channel [81.39444892747512]
  MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。 本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-21T14:11:33Z)
• Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming [0.0]
  我々は,政策グラディエント(PG)の下での最適化において,エージェントの方針がチームメイトの方針に準じることが,本質的に相互情報(MI)の下限を最大化することを示す。 我々の手法であるInfoPGは、創発的協調行動の学習におけるベースラインを上回り、分散協調型MARLタスクにおける最先端の課題を設定します。
  論文  参考訳（メタデータ） (2022-01-20T22:54:32Z)
• The Enforcers: Consistent Sparse-Discrete Methods for Constraining Informative Emergent Communication [5.432350993419402]
  コミュニケーションは、エージェントが目標を達成するために協力することを可能にする。 疎間コミュニケーションの学習における最近の研究は、特に協調作業において、コミュニケーションの減少のコストが報酬の減少につながるような、高分散トレーニングに悩まされている。 本研究は、コミュニケーションの減少による報酬の損失を抑え、差別に対するペナルティを排除し、上記の課題に対処する。
  論文  参考訳（メタデータ） (2022-01-19T07:31:06Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)
• Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
  非定常性は多エージェント強化学習における厄介な問題である。 ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。 共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-21T14:46:50Z)
• Gaussian Process Based Message Filtering for Robust Multi-Agent Cooperation in the Presence of Adversarial Communication [5.161531917413708]
  マルチエージェントシステムにおける敵通信に対する堅牢性の提供という課題について考察する。 グラフニューラルネットワーク(GNN)に基づく通信アーキテクチャを提案する。 本手法は,非協力的エージェントがもたらす影響を低減できることを示す。
  論文  参考訳（メタデータ） (2020-12-01T14:21:58Z)
• Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness [116.804536884437]
  本稿では,目標指向対話における政策学習のための逆行動認識フレームワークを提案する。 我々は、その行動から相手エージェントの方針を推定し、この推定を用いてターゲットエージェントを対象ポリシーの一部として関連づけて改善する。
  論文  参考訳（メタデータ） (2020-04-21T03:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。