論文の概要: IMAP: Intrinsically Motivated Adversarial Policy
- arxiv url: http://arxiv.org/abs/2305.02605v2
- Date: Wed, 18 Oct 2023 13:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 20:42:33.583504
- Title: IMAP: Intrinsically Motivated Adversarial Policy
- Title(参考訳): IMAP: 本質的には敵対的政策
- Authors: Xiang Zheng, Xingjun Ma, Shengjie Wang, Xinyu Wang, Chao Shen, Cong
Wang
- Abstract要約: 強化学習エージェントは、デプロイ中に回避攻撃を受けやすい。
我々は,効率的なブラックボックス対応政策学習のための本質的なモチベーション付き適応政策(IMAP)を提案する。
IMAPは、敵の訓練と頑健な正規化という2種類の防衛方法を回避する。
- 参考スコア(独自算出の注目度): 34.0283897381197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning agents are susceptible to evasion attacks during
deployment. In single-agent environments, these attacks can occur through
imperceptible perturbations injected into the inputs of the victim policy
network. In multi-agent environments, an attacker can manipulate an adversarial
opponent to influence the victim policy's observations indirectly. While
adversarial policies offer a promising technique to craft such attacks, current
methods are either sample-inefficient due to poor exploration strategies or
require extra surrogate model training under the black-box assumption. To
address these challenges, in this paper, we propose Intrinsically Motivated
Adversarial Policy (IMAP) for efficient black-box adversarial policy learning
in both single- and multi-agent environments. We formulate four types of
adversarial intrinsic regularizers -- maximizing the adversarial state
coverage, policy coverage, risk, or divergence -- to discover potential
vulnerabilities of the victim policy in a principled way. We also present a
novel Bias-Reduction (BR) method to boost IMAP further. Our experiments
validate the effectiveness of the four types of adversarial intrinsic
regularizers and BR in enhancing black-box adversarial policy learning across a
variety of environments. Our IMAP successfully evades two types of defense
methods, adversarial training and robust regularizer, decreasing the
performance of the state-of-the-art robust WocaR-PPO agents by 34%-54% across
four single-agent tasks. IMAP also achieves a state-of-the-art attacking
success rate of 83.91% in the multi-agent game YouShallNotPass.
- Abstract(参考訳): 強化学習エージェントは、デプロイ中に回避攻撃を受けやすい。
単一エージェント環境では、これらの攻撃は、被害者ポリシーネットワークの入力に注入される不可避な摂動によって起こりうる。
多エージェント環境では、攻撃者は敵を操り、被害者の政策の観察に間接的に影響を及ぼすことができる。
敵対的な政策はこのような攻撃を仕掛ける有望な技術を提供するが、現在の手法は、探索戦略の貧弱さによるサンプル非効率か、ブラックボックスの仮定の下で追加のサロゲートモデルトレーニングを必要とする。
本稿では,単一エージェント環境と複数エージェント環境の両方において,効率的なブラックボックス・アドバーサリアン・ポリシー学習のための本質的モチベーション・アドバーサリアン・ポリシー(imap)を提案する。
我々は, 敵対的内在的正規化要因の4つのタイプを定式化し, 敵対的状態カバレッジ, 政策カバレッジ, リスク, 分散度を最大化し, 被害者政策の潜在的な脆弱性を原則的に発見する。
また,IMAPをさらに促進するための新しいBias-Reduction(BR)法を提案する。
本実験は,ブラックボックス型対向政策学習における4種類の対向型内向正則化器とBRの有効性を検証した。
我々のIMAPは、対人訓練と頑健な正則化という2種類の防御手法を回避し、4つの単一エージェントタスクにおいて、最先端のロバストなWocaR-PPOエージェントの性能を34%-54%低下させることに成功した。
IMAPはマルチエージェントゲームのYouShallNotPassで最先端の攻撃成功率83.91%を達成した。
関連論文リスト
- SUB-PLAY: Adversarial Policies against Partially Observed Multi-Agent
Reinforcement Learning Systems [42.67697578435527]
攻撃者は、被害者の脆弱性を迅速に利用し、敵のポリシーを生成することができ、特定のタスクで被害者の失敗につながる。
本研究では,被害者の部分的観察に制限された場合においても,攻撃者が敵の政策を生成できる能力を明らかにする。
我々は,部分観測可能性の影響を軽減するために,複数のサブゲームを構築するという概念を取り入れた新しいブラックボックス攻撃(SUB-PLAY)を提案する。
論文 参考訳(メタデータ) (2024-02-06T06:18:16Z) - Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。
我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
論文 参考訳(メタデータ) (2023-12-20T05:06:01Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳(メタデータ) (2023-11-20T02:21:49Z) - Efficient Adversarial Attacks on Online Multi-agent Reinforcement
Learning [45.408568528354216]
対人攻撃がマルチエージェント強化学習(MARL)に及ぼす影響について検討する。
検討された設定では、エージェントがそれらを受け取る前に報酬を変更したり、環境がそれを受け取る前にアクションを操作することができる攻撃者がいる。
この混合攻撃戦略は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,MARLエージェントを効果的に攻撃することができることを示す。
論文 参考訳(メタデータ) (2023-07-15T00:38:55Z) - Rethinking Adversarial Policies: A Generalized Attack Formulation and
Provable Defense in RL [46.32591437241358]
本稿では、訓練された被害者エージェントが他のエージェントを制御する攻撃者によって悪用されるマルチエージェント設定について考察する。
以前のモデルでは、攻撃者が$alpha$に対する部分的な制御しか持たない可能性や、攻撃が容易に検出可能な"異常"な振る舞いを生じさせる可能性を考慮していない。
我々は、敵がエージェントをどの程度制御できるかをモデル化する柔軟性を持つ汎用攻撃フレームワークを導入する。
我々は、時間的分離を伴う敵の訓練を通じて、最も堅牢な被害者政策への収束を証明可能な効率のよい防御を提供する。
論文 参考訳(メタデータ) (2023-05-27T02:54:07Z) - Implicit Poisoning Attacks in Two-Agent Reinforcement Learning:
Adversarial Policies for Training-Time Attacks [21.97069271045167]
標的毒攻撃では、攻撃者はエージェントと環境の相互作用を操作して、ターゲットポリシーと呼ばれる利害政策を採用するように強制する。
本研究では,攻撃者がエージェントの有効環境を暗黙的に毒殺する2エージェント環境での標的毒殺攻撃について,仲間の方針を変更して検討した。
最適な攻撃を設計するための最適化フレームワークを開発し、攻撃のコストは、ピアエージェントが想定するデフォルトポリシーからどの程度逸脱するかを測定する。
論文 参考訳(メタデータ) (2023-02-27T14:52:15Z) - Attacking Cooperative Multi-Agent Reinforcement Learning by Adversarial
Minority Influence [57.154716042854034]
Adrial Minority Influence (AMI) は実用的なブラックボックス攻撃であり、被害者のパラメータを知らずに起動できる。
AMIは複雑なマルチエージェント相互作用とエージェントの協調的な目標を考えることでも強い。
我々は、実世界のロボット群に対する最初の攻撃と、シミュレーションされた環境における事実上の愚かなエージェントを、全体として最悪のシナリオへと攻撃することに成功した。
論文 参考訳(メタデータ) (2023-02-07T08:54:37Z) - Imitating Opponent to Win: Adversarial Policy Imitation Learning in
Two-player Competitive Games [0.0]
敵エージェントが採用する敵ポリシーは、ターゲットRLエージェントに影響を及ぼし、マルチエージェント環境では性能が良くない。
既存の研究では、被害者エージェントと対話した経験に基づいて、敵の政策を直接訓練している。
我々は、この欠点を克服する、新しい効果的な対人政策学習アルゴリズムを設計する。
論文 参考訳(メタデータ) (2022-10-30T18:32:02Z) - Boosting Transferability of Targeted Adversarial Examples via
Hierarchical Generative Networks [56.96241557830253]
転送ベースの敵攻撃はブラックボックス設定におけるモデルロバスト性を効果的に評価することができる。
本稿では,異なるクラスを対象にした対角的例を生成する条件生成攻撃モデルを提案する。
提案手法は,既存の手法と比較して,標的となるブラックボックス攻撃の成功率を大幅に向上させる。
論文 参考訳(メタデータ) (2021-07-05T06:17:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。