論文の概要: Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems

• arxiv url: http://arxiv.org/abs/2206.10158v1
• Date: Tue, 21 Jun 2022 07:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 04:45:15.784978
• Title: Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems
• Title（参考訳）: 多エージェントシステムにおける対人コミュニケーションに対するロバストな政策学習
• Authors: Yanchao Sun, Ruijie Zheng, Parisa Hassanzadeh, Yongyuan Liang, Soheil Feizi, Sumitra Ganesh, Furong Huang
• Abstract要約: 多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。 しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。 本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
• 参考スコア（独自算出の注目度）: 51.6210785955659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Communication is important in many multi-agent reinforcement learning (MARL) problems for agents to share information and make good decisions. However, when deploying trained communicative agents in a real-world application where noise and potential attackers exist, the safety of communication-based policies becomes a severe issue that is underexplored. Specifically, if communication messages are manipulated by malicious attackers, agents relying on untrustworthy communication may take unsafe actions that lead to catastrophic consequences. Therefore, it is crucial to ensure that agents will not be misled by corrupted communication, while still benefiting from benign communication. In this work, we consider an environment with $N$ agents, where the attacker may arbitrarily change the communication from any $C<\frac{N-1}{2}$ agents to a victim agent. For this strong threat model, we propose a certifiable defense by constructing a message-ensemble policy that aggregates multiple randomly ablated message sets. Theoretical analysis shows that this message-ensemble policy can utilize benign communication while being certifiably robust to adversarial communication, regardless of the attacking algorithm. Experiments in multiple environments verify that our defense significantly improves the robustness of trained policies against various types of attacks.
• Abstract（参考訳）: 多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。 しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。 特に、悪意のある攻撃者によって通信メッセージが操作される場合、信頼できない通信に依存するエージェントは、破滅的な結果をもたらす危険な行動を起こす可能性がある。 したがって、良心的なコミュニケーションの恩恵を受けながら、エージェントが腐敗したコミュニケーションによって誤解されないようにすることが重要である。 本研究では,攻撃者が任意の$C<\frac{N-1}{2}$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を考える。 この強力な脅威モデルに対して,複数のメッセージ集合をランダムに集約するメッセージアンサンブルポリシーを構築することにより,認証可能な防御法を提案する。 理論的解析により、このメッセージアンサンブルポリシーは、攻撃アルゴリズムにかかわらず、敵対的通信に対して確実に堅牢でありながら、良性通信を活用できることが示されている。 複数の環境での実験は、我々の防衛が様々な種類の攻撃に対する訓練されたポリシーの堅牢性を大幅に改善することを検証する。

関連論文リスト

• Toward Mixture-of-Experts Enabled Trustworthy Semantic Communication for 6G Networks [82.3753728955968]
  本稿では,新しいMixture-of-Experts(MoE)ベースのSemComシステムを提案する。 このシステムはゲーティングネットワークと複数の専門家で構成され、それぞれ異なるセキュリティ課題に特化している。 ゲーティングネットワークは、ユーザ定義のセキュリティ要件に基づいて、異種攻撃に対抗するための適切な専門家を適応的に選択する。 車両ネットワークにおけるケーススタディは、MoEベースのSemComシステムの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-24T03:17:51Z)
• Secure Semantic Communication via Paired Adversarial Residual Networks [59.468221305630784]
  本稿では,セキュリティを意識したセマンティック通信システムに対する敵攻撃の正の側面について検討する。 セマンティックトランスミッターの後に、セマンティックレシーバーの前に、一対のプラグイン可能なモジュールがインストールされる。 提案手法は,高品質なセマンティック通信を維持しつつ,盗聴者を騙すことができる。
  論文  参考訳（メタデータ） (2024-07-02T08:32:20Z)
• Robust Communicative Multi-Agent Reinforcement Learning with Active Defense [38.6815513394882]
  エージェントは、潜在的に有害なメッセージが最終決定に与える影響を自動的に軽減するアクティブ・ディフェンス戦略を提案する。 我々は、受信したメッセージの信頼性を推定し、最終決定への影響を調整するアクティブディフェンス・マルチエージェント通信フレームワーク(ADMAC)を設計する。 既存の手法よりもADMACの方が優れていることは、4種類の攻撃下での3つのコミュニケーションクリティカルなタスクの実験によって検証される。
  論文  参考訳（メタデータ） (2023-12-16T09:02:56Z)
• Multi-Agent Reinforcement Learning Based on Representational Communication for Large-Scale Traffic Signal Control [13.844458247041711]
  交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。 大規模TSCのための通信ベースのMARLフレームワークを提案する。 私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
  論文  参考訳（メタデータ） (2023-10-03T21:06:51Z)
• AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent Reinforcement Learning [4.884877440051105]
  本稿では,AC2C(Adaptive Controlled Two-Hop Communication)と呼ばれる新しい通信プロトコルを提案する。 AC2Cは、エージェント間の長距離情報交換によるパフォーマンス向上を可能にするために、適応的な2ホップ通信戦略を採用している。 本稿では,3つの協調型マルチエージェントタスクにおけるAC2Cの評価を行った。
  論文  参考訳（メタデータ） (2023-02-24T09:00:34Z)
• Over-communicate no more: Situated RL agents learn concise communication protocols [78.28898217947467]
  互いに効果的に効率的にコミュニケーションできる人工エージェントをいかに設計するかは、不明である。 強化学習(RL)を用いたコミュニケーションの出現に関する研究 エージェントがコミュニケーションを行うための環境行為を強制しなければならない多段階タスクにおける位置的コミュニケーションについて検討する。 テストされたすべてのプレッシャーは過剰なコミュニケーションを阻害する可能性があるが、位置通信は最も効果的であり、努力のコストとは異なり、発生に悪影響を及ぼさない。
  論文  参考訳（メタデータ） (2022-11-02T21:08:14Z)
• Coordinating Policies Among Multiple Agents via an Intelligent Communication Channel [81.39444892747512]
  MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。 本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-21T14:11:33Z)
• Adversarial Attacks On Multi-Agent Communication [80.4392160849506]
  現代の自律システムはすぐに大規模に展開され、協調型マルチエージェントシステムの可能性を広げる。 このような利点は、セキュリティ侵害に対して脆弱であることが示されている通信チャネルに大きく依存している。 本稿では,エージェントが学習した中間表現を共有してコミュニケーションする新しいマルチエージェント環境において,このような攻撃を探索する。
  論文  参考訳（メタデータ） (2021-01-17T00:35:26Z)
• Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
  我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。 先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。 I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-06-11T14:07:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。