論文の概要: Attacking Cooperative Multi-Agent Reinforcement Learning by Adversarial
Minority Influence
- arxiv url: http://arxiv.org/abs/2302.03322v2
- Date: Sun, 11 Jun 2023 06:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 01:23:05.067491
- Title: Attacking Cooperative Multi-Agent Reinforcement Learning by Adversarial
Minority Influence
- Title(参考訳): 敵対的マイノリティ・インフルエンスによる協調型マルチエージェント強化学習
- Authors: Simin Li, Jun Guo, Jingqiao Xiu, Pu Feng, Xin Yu, Aishan Liu, Wenjun
Wu, Xianglong Liu
- Abstract要約: Adrial Minority Influence (AMI) は実用的なブラックボックス攻撃であり、被害者のパラメータを知らずに起動できる。
AMIは複雑なマルチエージェント相互作用とエージェントの協調的な目標を考えることでも強い。
我々は、実世界のロボット群に対する最初の攻撃と、シミュレーションされた環境における事実上の愚かなエージェントを、全体として最悪のシナリオへと攻撃することに成功した。
- 参考スコア(独自算出の注目度): 57.154716042854034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study probes the vulnerabilities of cooperative multi-agent
reinforcement learning (c-MARL) under adversarial attacks, a critical
determinant of c-MARL's worst-case performance prior to real-world
implementation. Current observation-based attacks, constrained by white-box
assumptions, overlook c-MARL's complex multi-agent interactions and cooperative
objectives, resulting in impractical and limited attack capabilities. To
address these shortcomes, we propose Adversarial Minority Influence (AMI), a
practical and strong for c-MARL. AMI is a practical black-box attack and can be
launched without knowing victim parameters. AMI is also strong by considering
the complex multi-agent interaction and the cooperative goal of agents,
enabling a single adversarial agent to unilaterally misleads majority victims
to form targeted worst-case cooperation. This mirrors minority influence
phenomena in social psychology. To achieve maximum deviation in victim policies
under complex agent-wise interactions, our unilateral attack aims to
characterize and maximize the impact of the adversary on the victims. This is
achieved by adapting a unilateral agent-wise relation metric derived from
mutual information, thereby mitigating the adverse effects of victim influence
on the adversary. To lead the victims into a jointly detrimental scenario, our
targeted attack deceives victims into a long-term, cooperatively harmful
situation by guiding each victim towards a specific target, determined through
a trial-and-error process executed by a reinforcement learning agent. Through
AMI, we achieve the first successful attack against real-world robot swarms and
effectively fool agents in simulated environments into collectively worst-case
scenarios, including Starcraft II and Multi-agent Mujoco. The source code and
demonstrations can be found at: https://github.com/DIG-Beihang/AMI.
- Abstract(参考訳): 本研究は,c-MARLが現実世界に導入される前の最悪の性能を示す重要な要因である敵攻撃下での協調型マルチエージェント強化学習(c-MARL)の脆弱性を調査する。
現在の観測ベースの攻撃は、ホワイトボックスの仮定に制約され、c-MARLの複雑なマルチエージェント相互作用と協調目的を見落とし、非現実的かつ限定的な攻撃能力をもたらす。
これらの欠点に対処するために,我々は,c-MARL の実践的で強力な Adversarial Minority Influence (AMI) を提案する。
AMIは実用的なブラックボックス攻撃であり、犠牲者のパラメータを知らずに起動できる。
また、AMIは複雑なマルチエージェントの相互作用とエージェントの協調的目標を考慮し、一方の敵エージェントが一方的に大多数の犠牲者を誤解させ、標的となる最悪の協力を形成することができる。
これは社会心理学における少数派の影響を反映している。
複雑なエージェント間インタラクション下での被害者ポリシーの最大偏差を達成するために,我々の一方的な攻撃は,被害者に対する敵の影響を特徴付け,最大化することを目的としている。
これは、相互情報から引き起こされた一方的なエージェント関係のメトリクスを適応させることで、敵に対する被害者の影響を緩和する。
被害者を共同で有害な状況に導くために, 強化学習エージェントが実施した試行錯誤プロセスを通じて, 被害者を特定の目標に向かって誘導し, 長期的かつ協力的に有害な状況に陥る。
AMIにより,実世界のロボット群に対する最初の攻撃が成功し,シミュレーション環境におけるエージェントを効果的に騙して,Starcraft IIやMulti-agent Mujocoなどの最悪のシナリオに展開する。
ソースコードとデモは、https://github.com/DIG-Beihang/AMIで見ることができる。
関連論文リスト
- SUB-PLAY: Adversarial Policies against Partially Observed Multi-Agent
Reinforcement Learning Systems [42.67697578435527]
攻撃者は、被害者の脆弱性を迅速に利用し、敵のポリシーを生成することができ、特定のタスクで被害者の失敗につながる。
本研究では,被害者の部分的観察に制限された場合においても,攻撃者が敵の政策を生成できる能力を明らかにする。
我々は,部分観測可能性の影響を軽減するために,複数のサブゲームを構築するという概念を取り入れた新しいブラックボックス攻撃(SUB-PLAY)を提案する。
論文 参考訳(メタデータ) (2024-02-06T06:18:16Z) - Adversarial Attacks on Cooperative Multi-agent Bandits [41.79235070291252]
本研究は,CMA2Bに対する不均質および不均質な環境下での敵攻撃について検討する。
均質な設定では、各エージェントが特定のターゲットアームを$T-o(T)$倍選択し、$o(T)$攻撃コストを$T$ラウンドで発生させる攻撃戦略を提案する。
不均質な環境では、標的アーム攻撃が線形攻撃コストを必要とすることを証明し、少数の標的エージェントの観測のみを操作しながら、最大数のエージェントに線形後悔を強いる攻撃戦略を提案する。
論文 参考訳(メタデータ) (2023-11-03T04:03:19Z) - Efficient Adversarial Attacks on Online Multi-agent Reinforcement
Learning [45.408568528354216]
対人攻撃がマルチエージェント強化学習(MARL)に及ぼす影響について検討する。
検討された設定では、エージェントがそれらを受け取る前に報酬を変更したり、環境がそれを受け取る前にアクションを操作することができる攻撃者がいる。
この混合攻撃戦略は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,MARLエージェントを効果的に攻撃することができることを示す。
論文 参考訳(メタデータ) (2023-07-15T00:38:55Z) - Understanding Adversarial Attacks on Observations in Deep Reinforcement
Learning [32.12283927682007]
深層強化学習モデルは、観測を操作することで被害者の総報酬を減少させる敵攻撃に対して脆弱である。
関数空間における逆攻撃の問題を修正し、以前の勾配に基づく攻撃をいくつかの部分空間に分割する。
第一段階では、環境をハックして偽装ポリシーを訓練し、最下位の報酬にルーティングするトラジェクトリのセットを発見する。
本手法は,攻撃エージェントの性能に対して,既存の手法よりも厳密な理論上界を提供する。
論文 参考訳(メタデータ) (2021-06-30T07:41:51Z) - Adversarial Visual Robustness by Causal Intervention [56.766342028800445]
敵の訓練は、敵の例に対する事実上最も有望な防御である。
しかし、その受動性は必然的に未知の攻撃者への免疫を妨げる。
我々は、敵対的脆弱性の因果的視点を提供する: 原因は、学習に普遍的に存在する共同創設者である。
論文 参考訳(メタデータ) (2021-06-17T14:23:54Z) - Robust Reinforcement Learning on State Observations with Learned Optimal
Adversary [86.0846119254031]
逆摂動状態観測による強化学習の堅牢性について検討した。
固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。
DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
論文 参考訳(メタデータ) (2021-01-21T05:38:52Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z) - AdvMind: Inferring Adversary Intent of Black-Box Attacks [66.19339307119232]
本稿では,ブラックボックス攻撃の敵意を頑健に推定する新たな評価モデルであるAdvMindを提案する。
平均的なAdvMindは、3回未満のクエリバッチを観察した後、75%以上の精度で敵の意図を検出する。
論文 参考訳(メタデータ) (2020-06-16T22:04:31Z) - On the Robustness of Cooperative Multi-Agent Reinforcement Learning [32.92198917228515]
協力的マルチエージェント強化学習(c-MARL)では、エージェントはチームとして協力的に行動し、チーム全体の報酬を最大化する。
我々は,チーム内のエージェントを攻撃できる敵に対するc-MARLのロバスト性を分析する。
一つのエージェントを攻撃することで、我々の攻撃方法はチーム全体の報酬に非常に悪影響を及ぼし、それを20から9.4に減らします。
論文 参考訳(メタデータ) (2020-03-08T05:12:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。