論文の概要: Communication-Robust Multi-Agent Learning by Adaptable Auxiliary
Multi-Agent Adversary Generation
- arxiv url: http://arxiv.org/abs/2305.05116v1
- Date: Tue, 9 May 2023 01:29:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 14:15:08.460959
- Title: Communication-Robust Multi-Agent Learning by Adaptable Auxiliary
Multi-Agent Adversary Generation
- Title(参考訳): 適応型補助マルチエージェント逆生成によるコミュニケーションロバストマルチエージェント学習
- Authors: Lei Yuan, Feng Chen, Zhongzhang Zhang, Yang Yu
- Abstract要約: 協調型マルチエージェント強化学習(MARL)における協調の促進
我々は,MA3Cと呼ばれるロバスト通信のための多エージェント補助代行生成の適応的手法を提案し,ロバスト通信ベースのポリシーを得る。
- 参考スコア(独自算出の注目度): 8.376257490773192
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Communication can promote coordination in cooperative Multi-Agent
Reinforcement Learning (MARL). Nowadays, existing works mainly focus on
improving the communication efficiency of agents, neglecting that real-world
communication is much more challenging as there may exist noise or potential
attackers. Thus the robustness of the communication-based policies becomes an
emergent and severe issue that needs more exploration. In this paper, we posit
that the ego system trained with auxiliary adversaries may handle this
limitation and propose an adaptable method of Multi-Agent Auxiliary Adversaries
Generation for robust Communication, dubbed MA3C, to obtain a robust
communication-based policy. In specific, we introduce a novel message-attacking
approach that models the learning of the auxiliary attacker as a cooperative
problem under a shared goal to minimize the coordination ability of the ego
system, with which every information channel may suffer from distinct message
attacks. Furthermore, as naive adversarial training may impede the
generalization ability of the ego system, we design an attacker population
generation approach based on evolutionary learning. Finally, the ego system is
paired with an attacker population and then alternatively trained against the
continuously evolving attackers to improve its robustness, meaning that both
the ego system and the attackers are adaptable. Extensive experiments on
multiple benchmarks indicate that our proposed MA3C provides comparable or
better robustness and generalization ability than other baselines.
- Abstract(参考訳): コミュニケーションは協調型マルチエージェント強化学習(marl)において協調を促進する。
今日では、既存の作業は主にエージェントの通信効率の向上に重点が置かれており、ノイズや潜在的な攻撃者が存在する可能性があるため、現実世界のコミュニケーションははるかに困難である。
したがって、コミュニケーションベースのポリシーの堅牢性は、より調査を必要とする緊急かつ深刻な問題になる。
本稿では,補助的敵で訓練されたegoシステムが,この制限に対処できることを示すとともに,MA3Cと呼ばれるロバスト通信のための多エージェント補助代行生成の適応的手法を提案する。
具体的には,補助攻撃者の学習を協調的問題としてモデル化する新たなメッセージアタック手法を導入し,各情報チャネルが異なるメッセージアタックに悩むエゴシステムのコーディネーション能力を最小化する。
さらに,自発的な敵意学習がegoシステムの一般化能力を阻害する可能性があるため,進化的学習に基づく攻撃的集団生成手法を考案する。
最後に、egoシステムは攻撃者集団と組み合わせられ、代わりに継続的に進化する攻撃者に対して、その堅牢性を改善するために訓練される。
複数のベンチマークでの大規模な実験により,提案するMA3Cは,他のベースラインと同等あるいは優れたロバスト性および一般化能力を提供することが示された。
関連論文リスト
- Will 6G be Semantic Communications? Opportunities and Challenges from
Task Oriented and Secure Communications to Integrated Sensing [49.83882366499547]
本稿では,マルチタスク学習を統合した次世代(NextG)ネットワークにおけるタスク指向およびセマンティックコミュニケーションの機会と課題について検討する。
我々は、送信側の専用エンコーダと受信側の複数のタスク固有のデコーダを表すディープニューラルネットワークを用いる。
トレーニングとテストの段階において、敵対的攻撃に起因する潜在的な脆弱性を精査する。
論文 参考訳(メタデータ) (2024-01-03T04:01:20Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z) - Robust multi-agent coordination via evolutionary generation of auxiliary
adversarial attackers [23.15190337027283]
副次的攻撃者生成によるロバスト多エージェント協調(ROMANCE)を提案する。
ROMANCEは、訓練中に多種多様で強力な補助的敵攻撃に遭遇することを可能にし、様々な政策摂動の下で高い堅牢性を達成する。
品質の目標は、エゴシステムのコーディネーション効果を最小限に抑えることであり、攻撃者間の振る舞いを多様化するために、新しい多様性レギュレータを適用することである。
論文 参考訳(メタデータ) (2023-05-10T05:29:47Z) - Decentralized Adversarial Training over Graphs [55.28669771020857]
機械学習モデルの敵攻撃に対する脆弱性は、近年、かなりの注目を集めている。
この研究は、個々のエージェントが様々な強度摂動空間に従属するグラフ上の敵の訓練を研究する。
論文 参考訳(メタデータ) (2023-03-23T15:05:16Z) - Certifiably Robust Policy Learning against Adversarial Communication in
Multi-agent Systems [51.6210785955659]
多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。
しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。
本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
論文 参考訳(メタデータ) (2022-06-21T07:32:18Z) - Coordinating Policies Among Multiple Agents via an Intelligent
Communication Channel [81.39444892747512]
MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。
本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
論文 参考訳(メタデータ) (2022-05-21T14:11:33Z) - Multiagent Deep Reinforcement Learning: Challenges and Directions
Towards Human-Like Approaches [0.0]
本稿では,最も一般的なマルチエージェント問題表現とその主な課題について述べる。
これらの課題に対処する5つの研究領域を特定します。
我々は,マルチエージェント強化学習が成功するためには,これらの課題を学際的アプローチで解決することを提案する。
論文 参考訳(メタデータ) (2021-06-29T19:53:15Z) - Adversarial Attacks On Multi-Agent Communication [80.4392160849506]
現代の自律システムはすぐに大規模に展開され、協調型マルチエージェントシステムの可能性を広げる。
このような利点は、セキュリティ侵害に対して脆弱であることが示されている通信チャネルに大きく依存している。
本稿では,エージェントが学習した中間表現を共有してコミュニケーションする新しいマルチエージェント環境において,このような攻撃を探索する。
論文 参考訳(メタデータ) (2021-01-17T00:35:26Z) - The Emergence of Adversarial Communication in Multi-Agent Reinforcement
Learning [6.18778092044887]
多くの現実世界の問題は、複数の自律エージェントの調整を必要とする。
最近の研究は、複雑なマルチエージェント協調を可能にする明示的なコミュニケーション戦略を学ぶためのグラフニューラルネットワーク(GNN)の約束を示している。
一つの利己的なエージェントが高度に操作的なコミュニケーション戦略を学習し、協調的なエージェントチームを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2020-08-06T12:48:08Z) - Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。
先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。
I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2020-06-11T14:07:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。