論文の概要: Efficient Adversarial Attacks on Online Multi-agent Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2307.07670v1
- Date: Sat, 15 Jul 2023 00:38:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 18:36:25.089254
- Title: Efficient Adversarial Attacks on Online Multi-agent Reinforcement
Learning
- Title(参考訳): オンラインマルチエージェント強化学習における効率的な逆襲
- Authors: Guanlin Liu, Lifeng Lai
- Abstract要約: 対人攻撃がマルチエージェント強化学習(MARL)に及ぼす影響について検討する。
検討された設定では、エージェントがそれらを受け取る前に報酬を変更したり、環境がそれを受け取る前にアクションを操作することができる攻撃者がいる。
この混合攻撃戦略は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,MARLエージェントを効果的に攻撃することができることを示す。
- 参考スコア(独自算出の注目度): 45.408568528354216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the broad range of applications of multi-agent reinforcement learning
(MARL), understanding the effects of adversarial attacks against MARL model is
essential for the safe applications of this model. Motivated by this, we
investigate the impact of adversarial attacks on MARL. In the considered setup,
there is an exogenous attacker who is able to modify the rewards before the
agents receive them or manipulate the actions before the environment receives
them. The attacker aims to guide each agent into a target policy or maximize
the cumulative rewards under some specific reward function chosen by the
attacker, while minimizing the amount of manipulation on feedback and action.
We first show the limitations of the action poisoning only attacks and the
reward poisoning only attacks. We then introduce a mixed attack strategy with
both the action poisoning and the reward poisoning. We show that the mixed
attack strategy can efficiently attack MARL agents even if the attacker has no
prior information about the underlying environment and the agents' algorithms.
- Abstract(参考訳): マルチエージェント強化学習(MARL)の幅広い応用により、MARLモデルに対する敵攻撃の影響を理解することが、このモデルの安全な適用に不可欠である。
本研究の目的は,MARLに対する敵攻撃の影響を検討することである。
検討された設定では、エージェントがそれらを受け取る前に報酬を修正したり、環境がそれを受け取る前にアクションを操作できる異種攻撃者がいる。
攻撃者は、各エージェントを目標ポリシーに導くこと、あるいは攻撃者が選択した特定の報酬関数の下で累積報酬を最大化することを目的としている。
まず,行動中毒の限界は攻撃のみであり,報酬中毒は攻撃のみであることを示す。
次に,行動中毒と報酬中毒を併用した混合攻撃戦略を提案する。
提案手法は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,効果的にmarlエージェントを攻撃できることを示す。
関連論文リスト
- Optimal Cost Constrained Adversarial Attacks For Multiple Agent Systems [6.69087470775851]
分散攻撃エージェントを用いた最適な敵エージェント対エージェント攻撃を行うという問題を定式化する。
そこで本稿では,静的制約付き攻撃-リソース割り当て最適化と動的プログラミングの段階間最適化を組み合わせた最適手法を提案する。
以上の結果から,攻撃エージェントが受ける報酬を大幅に削減できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-01T21:28:02Z) - Attacking Cooperative Multi-Agent Reinforcement Learning by Adversarial
Minority Influence [57.154716042854034]
Adrial Minority Influence (AMI) は実用的なブラックボックス攻撃であり、被害者のパラメータを知らずに起動できる。
AMIは複雑なマルチエージェント相互作用とエージェントの協調的な目標を考えることでも強い。
我々は、実世界のロボット群に対する最初の攻撃と、シミュレーションされた環境における事実上の愚かなエージェントを、全体として最悪のシナリオへと攻撃することに成功した。
論文 参考訳(メタデータ) (2023-02-07T08:54:37Z) - Guidance Through Surrogate: Towards a Generic Diagnostic Attack [101.36906370355435]
我々は、攻撃最適化中に局所最小限を避けるための誘導機構を開発し、G-PGAと呼ばれる新たな攻撃に繋がる。
修正された攻撃では、ランダムに再起動したり、多数の攻撃を繰り返したり、最適なステップサイズを検索したりする必要がありません。
効果的な攻撃以上に、G-PGAは敵防御における勾配マスキングによる解離性堅牢性を明らかにするための診断ツールとして用いられる。
論文 参考訳(メタデータ) (2022-12-30T18:45:23Z) - Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor
Attacks in Federated Learning [102.05872020792603]
我々は,他のクライアントの行動を含む,連合学習パイプライン全体の予測と説明を行う攻撃を提案する。
この新たな攻撃は、ランダムにサンプリングされたラウンドのごく一部にアタッカーが貢献する現実的なシナリオにおいて有効であることを示す。
論文 参考訳(メタデータ) (2022-10-17T17:59:38Z) - Projective Ranking-based GNN Evasion Attacks [52.85890533994233]
グラフニューラルネットワーク(GNN)は、グラフ関連のタスクに対して、有望な学習方法を提供する。
GNNは敵の攻撃の危険にさらされている。
論文 参考訳(メタデータ) (2022-02-25T21:52:09Z) - Provably Efficient Black-Box Action Poisoning Attacks Against
Reinforcement Learning [41.1063033715314]
我々は,エージェントが選択したアクションシグナルを敵が変更できる行動中毒攻撃という新しい種類の攻撃を導入する。
既存の攻撃モデルと比較して、提案した行動中毒攻撃モデルにおける攻撃者の能力はより制限されている。
ブラックボックス設定においても,提案手法は攻撃者が選択したポリシーに従って,UCB-Hエージェントが行動を選択することを強制することができることを示す。
論文 参考訳(メタデータ) (2021-10-09T06:41:34Z) - Guided Adversarial Attack for Evaluating and Enhancing Adversarial
Defenses [59.58128343334556]
我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。
本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。
また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
論文 参考訳(メタデータ) (2020-11-30T16:39:39Z) - Policy Teaching in Reinforcement Learning via Environment Poisoning
Attacks [33.41280432984183]
本研究では,攻撃者が学習環境を害し,攻撃者が選択したターゲットポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。
被害者として、無限水平問題設定における報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
論文 参考訳(メタデータ) (2020-11-21T16:54:45Z) - Policy Teaching via Environment Poisoning: Training-time Adversarial
Attacks against Reinforcement Learning [33.41280432984183]
本研究では,攻撃者が学習環境を害してエージェントに目標ポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。
被害者として、未報告の無限水平問題設定における平均報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
論文 参考訳(メタデータ) (2020-03-28T23:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。