論文の概要: Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2106.15860v1
• Date: Wed, 30 Jun 2021 07:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 15:25:40.649028
• Title: Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習における観察に対する敵対的攻撃の理解
• Authors: You Qiaoben, Chengyang Ying, Xinning Zhou, Hang Su, Jun Zhu, Bo Zhang
• Abstract要約: 深層強化学習モデルは、観測を操作することで被害者の総報酬を減少させる敵攻撃に対して脆弱である。 関数空間における逆攻撃の問題を修正し、以前の勾配に基づく攻撃をいくつかの部分空間に分割する。 第一段階では、環境をハックして偽装ポリシーを訓練し、最下位の報酬にルーティングするトラジェクトリのセットを発見する。 本手法は,攻撃エージェントの性能に対して,既存の手法よりも厳密な理論上界を提供する。
• 参考スコア（独自算出の注目度）: 32.12283927682007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works demonstrate that deep reinforcement learning (DRL) models are vulnerable to adversarial attacks which can decrease the victim's total reward by manipulating the observations. Compared with adversarial attacks in supervised learning, it is much more challenging to deceive a DRL model since the adversary has to infer the environmental dynamics. To address this issue, we reformulate the problem of adversarial attacks in function space and separate the previous gradient based attacks into several subspace. Following the analysis of the function space, we design a generic two-stage framework in the subspace where the adversary lures the agent to a target trajectory or a deceptive policy. In the first stage, we train a deceptive policy by hacking the environment, and discover a set of trajectories routing to the lowest reward. The adversary then misleads the victim to imitate the deceptive policy by perturbing the observations. Our method provides a tighter theoretical upper bound for the attacked agent's performance than the existing approaches. Extensive experiments demonstrate the superiority of our method and we achieve the state-of-the-art performance on both Atari and MuJoCo environments.
• Abstract（参考訳）: 近年の研究では、深層強化学習(DRL)モデルが敵の攻撃に弱いことが示されており、観測操作によって被害者の総報酬を減少させる可能性がある。 教師付き学習における敵意攻撃と比較すると,敵は環境力学を推測しなければならないため,drlモデルを欺くことがはるかに困難である。 この問題に対処するため、関数空間における敵攻撃の問題を修正し、以前の勾配に基づく攻撃を複数の部分空間に分割する。 関数空間の解析に続いて、敵がエージェントをターゲットの軌道や騙しのポリシーに誘惑する部分空間において、汎用的な二段階フレームワークを設計する。 第一段階では、環境をハックして偽装ポリシーを訓練し、最下位の報酬にルーティングする一連の軌道を発見する。 敵は被害者を誤解させ、観察をゆるめることによって欺きの政策を模倣する。 本手法は,攻撃エージェントの性能に対して,既存の手法よりも厳密な理論上界を提供する。 AtariとMuJoCoの両環境において,本手法の優位性を実証し,最先端の性能を実現する。

関連論文リスト

• Evaluating the Robustness of LiDAR Point Cloud Tracking Against Adversarial Attack [6.101494710781259]
  本稿では,3次元物体追跡の文脈において,敵攻撃を行うための統一的なフレームワークを提案する。 ブラックボックス攻撃のシナリオに対処するために,新たなトランスファーベースアプローチであるTarget-aware Perturbation Generation (TAPG)アルゴリズムを導入する。 実験の結果,ブラックボックスとホワイトボックスの両方の攻撃を受けた場合,高度な追跡手法に重大な脆弱性があることが判明した。
  論文  参考訳（メタデータ） (2024-10-28T10:20:38Z)
• Behavior-Targeted Attack on Reinforcement Learning with Limited Access to Victim's Policy [9.530897053573186]
  ブラックボックス内の被害者エージェントを操作する新しい方法を提案する。 本手法は二段階最適化問題として定式化され,マッチング問題に還元される。 いくつかの強化学習ベンチマークにおける実証評価の結果,提案手法はベースラインに対する攻撃性能に優れていた。
  論文  参考訳（メタデータ） (2024-06-06T08:49:51Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• On the Difficulty of Defending Contrastive Learning against Backdoor Attacks [58.824074124014224]
  バックドア攻撃が、特有のメカニズムによってどのように動作するかを示す。 本研究は, 対照的なバックドア攻撃の特異性に合わせて, 防御の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2023-12-14T15:54:52Z)
• Defending Observation Attacks in Deep Reinforcement Learning via Detection and Denoising [3.2023814100005907]
  外部環境が管理する観測空間における摂動として現れる攻撃は、政策性能を低下させる。 これらの攻撃を防御するために,検出・復号化スキーマを用いた新しい防衛戦略を提案する。 我々のソリューションは攻撃中の環境でのサンプリングデータを必要としないため、トレーニング中のリスクを大幅に低減する。
  論文  参考訳（メタデータ） (2022-06-14T22:28:30Z)
• Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems [50.758281304737444]
  本稿では,強化学習に基づく対話型レコメンデーションシステムにおける敵例の探索と攻撃検出を提案する。 まず、入力に摂動を加え、カジュアルな要因に介入することで、異なる種類の逆例を作成する。 そこで,本研究では,人工データに基づく深層学習に基づく分類器による潜在的攻撃を検出することにより,推薦システムを強化した。
  論文  参考訳（メタデータ） (2021-12-02T04:12:24Z)
• Targeted Attack on Deep RL-based Autonomous Driving with Learned Visual Patterns [18.694795507945603]
  近年の研究では、敵の攻撃に対する深い強化学習を通じて学んだコントロールポリシーの脆弱性が実証されている。 本研究では, 物理的対象物に配置した視覚的学習パターンを用いて, 標的攻撃の実現可能性について検討する。
  論文  参考訳（メタデータ） (2021-09-16T04:59:06Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
  逆摂動状態観測による強化学習の堅牢性について検討した。 固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
  論文  参考訳（メタデータ） (2021-01-21T05:38:52Z)
• Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses [59.58128343334556]
  我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。 本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。 また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
  論文  参考訳（メタデータ） (2020-11-30T16:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。