論文の概要: Attacking and Defending Deep Reinforcement Learning Policies
- arxiv url: http://arxiv.org/abs/2205.07626v1
- Date: Mon, 16 May 2022 12:47:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 18:05:56.526136
- Title: Attacking and Defending Deep Reinforcement Learning Policies
- Title（参考訳）: 深層強化学習政策を攻撃・擁護する
- Authors: Chao Wang
- Abstract要約: 本研究では, DRL ポリシーのロバストな最適化の観点から, 敵攻撃に対するロバスト性について検討する。
本稿では,環境との相互作用を伴わずにポリシーの戻りを最小化しようとする欲求攻撃アルゴリズムと,最大限の形式で敵の訓練を行う防衛アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 3.6985039575807246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have shown that deep reinforcement learning (DRL) policies are
vulnerable to adversarial attacks, which raise concerns about applications of
DRL to safety-critical systems. In this work, we adopt a principled way and
study the robustness of DRL policies to adversarial attacks from the
perspective of robust optimization. Within the framework of robust
optimization, optimal adversarial attacks are given by minimizing the expected
return of the policy, and correspondingly a good defense mechanism should be
realized by improving the worst-case performance of the policy. Considering
that attackers generally have no access to the training environment, we propose
a greedy attack algorithm, which tries to minimize the expected return of the
policy without interacting with the environment, and a defense algorithm, which
performs adversarial training in a max-min form. Experiments on Atari game
environments show that our attack algorithm is more effective and leads to
worse return of the policy than existing attack algorithms, and our defense
algorithm yields policies more robust than existing defense methods to a range
of adversarial attacks (including our proposed attack algorithm).
- Abstract（参考訳）: 近年の研究では、DRL(Deep reinforcement Learning)ポリシが敵攻撃に対して脆弱であることが示されており、DRLの安全クリティカルシステムへの適用に対する懸念が高まっている。
本研究では,DRLポリシーのロバスト性に着目し,ロバスト最適化の観点から敵攻撃に対するロバスト性を検討する。
ロバスト最適化の枠組み内では、ポリシーの期待値の最小化によって最適な敵の攻撃が与えられ、ポリシーの最悪の場合の性能を向上させることで、適切な防御機構を実現する必要がある。
攻撃者は一般に訓練環境にアクセスできないことを考慮し、環境と対話することなくポリシーの期待した戻りを最小化しようとする欲求攻撃アルゴリズムと、最大限の形式で敵の訓練を行う防衛アルゴリズムを提案する。
アタリゲーム環境での実験では、我々の攻撃アルゴリズムは既存の攻撃アルゴリズムよりも効果的で、ポリシーの戻りが悪く、我々の防衛アルゴリズムは、既存の防御手法よりも多くの敵攻撃(提案された攻撃アルゴリズムを含む)に対してロバストなポリシーを生成する。
関連論文リスト
- Black-Box Targeted Reward Poisoning Attack Against Online Deep
Reinforcement Learning [2.3526458707956643]
トレーニング期間中の報酬中毒によるオンライン深層学習に対する最初のブラックボックス攻撃を提案する。
我々の攻撃は未知のアルゴリズムによって学習された未知のダイナミクスを持つ一般的な環境に適用できる。
論文 参考訳（メタデータ） (2023-05-18T03:37:29Z) - Implicit Poisoning Attacks in Two-Agent Reinforcement Learning:
Adversarial Policies for Training-Time Attacks [21.97069271045167]
標的毒攻撃では、攻撃者はエージェントと環境の相互作用を操作して、ターゲットポリシーと呼ばれる利害政策を採用するように強制する。
本研究では,攻撃者がエージェントの有効環境を暗黙的に毒殺する2エージェント環境での標的毒殺攻撃について,仲間の方針を変更して検討した。
最適な攻撃を設計するための最適化フレームワークを開発し、攻撃のコストは、ピアエージェントが想定するデフォルトポリシーからどの程度逸脱するかを測定する。
論文 参考訳（メタデータ） (2023-02-27T14:52:15Z) - Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning [6.414910263179327]
オンライン深層学習(DRL)における報酬中毒に関する研究
我々は、敵MDP攻撃と呼ばれる一般的なブラックボックス報酬中毒フレームワークを設計することで、最先端DRLアルゴリズムの本質的な脆弱性を実証する。
以上の結果から,我々の攻撃は,いくつかの古典的制御環境や MuJoCo 環境下で学習する有害物質を効果的に検出できることがわかった。
論文 参考訳（メタデータ） (2022-05-30T04:07:19Z) - Off-policy Reinforcement Learning with Optimistic Exploration and
Distribution Correction [73.77593805292194]
我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。
最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
論文 参考訳（メタデータ） (2021-10-22T22:07:51Z) - Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial
Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。
本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。
本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-13T13:54:24Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳（メタデータ） (2021-06-21T21:42:08Z) - Defense Against Reward Poisoning Attacks in Reinforcement Learning [29.431349181232203]
我々は、強化学習における報酬中毒に対する防衛戦略について研究する。
最適な防衛方針を導出するための最適化フレームワークを提案する。
提案した最適化問題に対する解決策である防衛方針が,性能保証を証明可能であることを示す。
論文 参考訳（メタデータ） (2021-02-10T23:31:53Z) - Robust Reinforcement Learning on State Observations with Learned Optimal
Adversary [86.0846119254031]
逆摂動状態観測による強化学習の堅牢性について検討した。
固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。
DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
論文 参考訳（メタデータ） (2021-01-21T05:38:52Z) - Query-based Targeted Action-Space Adversarial Policies on Deep
Reinforcement Learning Agents [23.580682320064714]
本研究は、CPS文学における行動空間領域における標的攻撃(アクティベーション攻撃)を調査する。
対向目標に対する最適な摂動を生成するクエリベースのブラックボックス攻撃モデルが、別の強化学習問題として定式化可能であることを示す。
実験の結果,名目政策のアウトプットのみを観察する敵政策は,名目政策のインプットとアウトプットを観察する敵政策よりも強い攻撃を発生させることがわかった。
論文 参考訳（メタデータ） (2020-11-13T20:25:48Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳（メタデータ） (2020-08-05T07:49:42Z) - Robust Deep Reinforcement Learning against Adversarial Perturbations on
State Observations [88.94162416324505]
深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。
観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。
本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
論文 参考訳（メタデータ） (2020-03-19T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。