論文の概要: Rethinking Adversarial Policies: A Generalized Attack Formulation and
Provable Defense in Multi-Agent RL
- arxiv url: http://arxiv.org/abs/2305.17342v1
- Date: Sat, 27 May 2023 02:54:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 20:15:29.519187
- Title: Rethinking Adversarial Policies: A Generalized Attack Formulation and
Provable Defense in Multi-Agent RL
- Title（参考訳）: 敵政策の再考: 多エージェントRLにおける汎用的な攻撃の定式化と防御
- Authors: Xiangyu Liu, Souradip Chakraborty, Yanchao Sun, Furong Huang
- Abstract要約: マルチエージェントRL設定では、被害者エージェント$nu$が攻撃者によって悪用され、別のエージェント$alpha$を制御して被害者に対して敵対的に行動する。
より一般的な攻撃定式化を導入し、敵が敵の政策を生成するためにエージェントをどの程度制御できるかをモデル化する。
我々は、時間的分離を伴う敵の訓練を通じて、最も堅牢な被害者政策に収束を保証する最初の確固たる防御を提供する。
- 参考スコア（独自算出の注目度）: 19.402549302071847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing works consider direct perturbations of victim's state/action or
the underlying transition dynamics to show vulnerability of reinforcement
learning agents under adversarial attacks. However, such direct manipulation
may not always be feasible in practice. In this paper, we consider another
common and realistic attack setup: in a multi-agent RL setting with
well-trained agents, during deployment time, the victim agent $\nu$ is
exploited by an attacker who controls another agent $\alpha$ to act
adversarially against the victim using an \textit{adversarial policy}. Prior
attack models under such setup do not consider that the attacker can confront
resistance and thus can only take partial control of the agent $\alpha$, as
well as introducing perceivable ``abnormal'' behaviors that are easily
detectable. A provable defense against these adversarial policies is also
lacking. To resolve these issues, we introduce a more general attack
formulation that models to what extent the adversary is able to control the
agent to produce the adversarial policy. Based on such a generalized attack
framework, the attacker can also regulate the state distribution shift caused
by the attack through an attack budget, and thus produce stealthy adversarial
policies that can exploit the victim agent. Furthermore, we provide the first
provably robust defenses with convergence guarantee to the most robust victim
policy via adversarial training with timescale separation, in sharp contrast to
adversarial training in supervised learning which may only provide {\it
empirical} defenses.
- Abstract（参考訳）: 既存の著作の多くは、敵の攻撃下で強化学習エージェントの脆弱性を示すために、被害者の状態/行動の直接的摂動や、基礎となる遷移ダイナミクスを考察している。
しかし、そのような直接操作は必ずしも実現可能であるとは限らない。
そこで本論文では, エージェントが十分に訓練されたマルチエージェントrl設定において, 被害者エージェント $\nu$ は, 攻撃者によって悪用され, 他のエージェント$\alpha$ を制御して, \textit{adversarial policy} を用いて被害者に対して敵対的に行動する。
このような設定下での先行攻撃モデルは、攻撃者が抵抗に直面することはできないので、エージェント $\alpha$ の部分的な制御しか受け取らず、容易に検出可能な ``abnormal'' の動作を導入することができる。
これらの対立政策に対する証明可能な防御力も欠如している。
これらの問題を解決するために,我々は,敵がエージェントを制御し,敵の政策を作成できる程度までモデル化できる,より一般的な攻撃形式を導入する。
このような汎用的な攻撃枠組みに基づき、攻撃者は攻撃予算を通じて攻撃による状態分布シフトを規制し、被害者エージェントを悪用できるステルスな敵ポリシーを作成できる。
さらに,「it経験的」な防御しか提供しない教師付き学習における敵意訓練とは対照的に,時間スケール分離による敵意訓練を通じて,最も強固な被害者政策に収束した,最初の堅牢な防御を提供する。
関連論文リスト
- CuDA2: An approach for Incorporating Traitor Agents into Cooperative Multi-Agent Systems [13.776447110639193]
CMARLシステムに反抗剤を注入する新しい手法を提案する。
TMDPでは、裏切り者は被害者エージェントと同じMARLアルゴリズムを用いて訓練され、その報酬機能は被害者エージェントの報酬の負として設定される。
CuDA2は、特定の被害者エージェントのポリシーに対する攻撃の効率性と攻撃性を高める。
論文 参考訳（メタデータ） (2024-06-25T09:59:31Z) - Optimal Cost Constrained Adversarial Attacks For Multiple Agent Systems [6.69087470775851]
分散攻撃エージェントを用いた最適な敵エージェント対エージェント攻撃を行うという問題を定式化する。
そこで本稿では,静的制約付き攻撃-リソース割り当て最適化と動的プログラミングの段階間最適化を組み合わせた最適手法を提案する。
以上の結果から,攻撃エージェントが受ける報酬を大幅に削減できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-11-01T21:28:02Z) - Toward Evaluating Robustness of Reinforcement Learning with Adversarial Policy [32.1138935956272]
強化学習エージェントは、デプロイ中に回避攻撃を受けやすい。
本稿では,効率的なブラックボックス対応政策学習のための本質的なモチベーション付き適応政策(IMAP)を提案する。
論文 参考訳（メタデータ） (2023-05-04T07:24:12Z) - Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。
近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。
攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。
BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
論文 参考訳（メタデータ） (2022-11-21T09:51:28Z) - Imitating Opponent to Win: Adversarial Policy Imitation Learning in
Two-player Competitive Games [0.0]
敵エージェントが採用する敵ポリシーは、ターゲットRLエージェントに影響を及ぼし、マルチエージェント環境では性能が良くない。
既存の研究では、被害者エージェントと対話した経験に基づいて、敵の政策を直接訓練している。
我々は、この欠点を克服する、新しい効果的な対人政策学習アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-10-30T18:32:02Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳（メタデータ） (2021-06-21T21:42:08Z) - Adversarial Visual Robustness by Causal Intervention [56.766342028800445]
敵の訓練は、敵の例に対する事実上最も有望な防御である。
しかし、その受動性は必然的に未知の攻撃者への免疫を妨げる。
我々は、敵対的脆弱性の因果的視点を提供する: 原因は、学習に普遍的に存在する共同創設者である。
論文 参考訳（メタデータ） (2021-06-17T14:23:54Z) - Provable Defense Against Delusive Poisoning [64.69220849669948]
本研究は, 対人訓練が妄想性中毒に対する防御法であることを示す。
これは、敵の訓練が妄想的中毒に対する原則的な防御方法であることを意味している。
論文 参考訳（メタデータ） (2021-02-09T09:19:47Z) - Robust Reinforcement Learning on State Observations with Learned Optimal
Adversary [86.0846119254031]
逆摂動状態観測による強化学習の堅牢性について検討した。
固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。
DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
論文 参考訳（メタデータ） (2021-01-21T05:38:52Z) - Policy Teaching via Environment Poisoning: Training-time Adversarial
Attacks against Reinforcement Learning [33.41280432984183]
本研究では,攻撃者が学習環境を害してエージェントに目標ポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。
被害者として、未報告の無限水平問題設定における平均報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
論文 参考訳（メタデータ） (2020-03-28T23:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。