論文の概要: Reward Delay Attacks on Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2209.03540v1
- Date: Thu, 8 Sep 2022 02:40:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-09 12:51:31.037407
- Title: Reward Delay Attacks on Deep Reinforcement Learning
- Title（参考訳）: 深層強化学習における報酬遅延攻撃
- Authors: Anindya Sarkar, Jiarui Feng, Yevgeniy Vorobeychik, Christopher Gill,
and Ning Zhang
- Abstract要約: 本稿では,この仮定に係わる脆弱性を利用したQ-ラーニングを対象とする新たな攻撃手法を提案する。
我々は,標的政策の学習を目的とした標的攻撃と,報酬の低い政策の誘導を目的とした未目標攻撃の2つのタイプの攻撃目標を検討する。
- 参考スコア（独自算出の注目度）: 26.563537078924835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most reinforcement learning algorithms implicitly assume strong synchrony. We
present novel attacks targeting Q-learning that exploit a vulnerability
entailed by this assumption by delaying the reward signal for a limited time
period. We consider two types of attack goals: targeted attacks, which aim to
cause a target policy to be learned, and untargeted attacks, which simply aim
to induce a policy with a low reward. We evaluate the efficacy of the proposed
attacks through a series of experiments. Our first observation is that
reward-delay attacks are extremely effective when the goal is simply to
minimize reward. Indeed, we find that even naive baseline reward-delay attacks
are also highly successful in minimizing the reward. Targeted attacks, on the
other hand, are more challenging, although we nevertheless demonstrate that the
proposed approaches remain highly effective at achieving the attacker's
targets. In addition, we introduce a second threat model that captures a
minimal mitigation that ensures that rewards cannot be used out of sequence. We
find that this mitigation remains insufficient to ensure robustness to attacks
that delay, but preserve the order, of rewards.
- Abstract（参考訳）: ほとんどの強化学習アルゴリズムは暗黙的に強い同期を仮定する。
本稿では,この仮定による脆弱性を利用したQ-ラーニングを対象とする新たな攻撃手法を提案する。
我々は,標的政策の学習を目的とした標的攻撃と,報酬の低い政策の誘導を目的とした未目標攻撃の2つのタイプの攻撃目標を検討する。
提案した攻撃の有効性を一連の実験により評価した。
最初の観察では、報酬の遅延攻撃は、報酬を最小化することが目的である場合に非常に効果的である。
実際、単純なベースラインの報酬削減攻撃でさえ、報酬の最小化に成功しています。
一方,攻撃対象の攻撃はより困難であるが,提案手法が攻撃対象の達成に有効であることは証明されている。
さらに,第2の脅威モデルを導入することで,報酬がシーケンス外から使用できないことを保証する,最小の緩和策が実現される。
この緩和策は、報酬の遅れだが秩序を保つ攻撃に対して堅牢性を確保するには不十分である。
関連論文リスト
- Efficient Adversarial Attacks on Online Multi-agent Reinforcement
Learning [45.408568528354216]
対人攻撃がマルチエージェント強化学習(MARL)に及ぼす影響について検討する。
検討された設定では、エージェントがそれらを受け取る前に報酬を変更したり、環境がそれを受け取る前にアクションを操作することができる攻撃者がいる。
この混合攻撃戦略は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,MARLエージェントを効果的に攻撃することができることを示す。
論文 参考訳（メタデータ） (2023-07-15T00:38:55Z) - Guidance Through Surrogate: Towards a Generic Diagnostic Attack [101.36906370355435]
我々は、攻撃最適化中に局所最小限を避けるための誘導機構を開発し、G-PGAと呼ばれる新たな攻撃に繋がる。
修正された攻撃では、ランダムに再起動したり、多数の攻撃を繰り返したり、最適なステップサイズを検索したりする必要がありません。
効果的な攻撃以上に、G-PGAは敵防御における勾配マスキングによる解離性堅牢性を明らかにするための診断ツールとして用いられる。
論文 参考訳（メタデータ） (2022-12-30T18:45:23Z) - Object-fabrication Targeted Attack for Object Detection [54.10697546734503]
物体検出の敵攻撃は 標的攻撃と未標的攻撃を含む。
新たなオブジェクトファブリケーションターゲット攻撃モードは、特定のターゲットラベルを持つ追加の偽オブジェクトをファブリケートする検出器を誤解させる可能性がある。
論文 参考訳（メタデータ） (2022-12-13T08:42:39Z) - Deep-Attack over the Deep Reinforcement Learning [26.272161868927004]
敵攻撃の開発により 強化学習が より脆弱になった
本研究は,実効性と盗聴を自然に考慮し,強化学習に基づく攻撃フレームワークを提案する。
また,これらの2つの側面において,攻撃モデルの性能を評価するための新しい指標を提案する。
論文 参考訳（メタデータ） (2022-05-02T10:58:19Z) - Defense Against Reward Poisoning Attacks in Reinforcement Learning [29.431349181232203]
我々は、強化学習における報酬中毒に対する防衛戦略について研究する。
最適な防衛方針を導出するための最適化フレームワークを提案する。
提案した最適化問題に対する解決策である防衛方針が,性能保証を証明可能であることを示す。
論文 参考訳（メタデータ） (2021-02-10T23:31:53Z) - On Success and Simplicity: A Second Look at Transferable Targeted
Attacks [6.276791657895803]
転送可能なターゲットアタックは、最適な転送可能性にゆっくりと収束し、より多くのイテレーションが与えられると大幅に改善されることを示す。
単にターゲットのロギットを最大化する攻撃は驚くほどうまく機能し、より複雑な損失を克服し、芸術の状態に匹敵するパフォーマンスを達成さえします。
論文 参考訳（メタデータ） (2020-12-21T09:41:29Z) - Guided Adversarial Attack for Evaluating and Enhancing Adversarial
Defenses [59.58128343334556]
我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。
本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。
また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
論文 参考訳（メタデータ） (2020-11-30T16:39:39Z) - Robust Tracking against Adversarial Attacks [69.59717023941126]
まず,ビデオシーケンス上に敵の例を生成して,敵の攻撃に対するロバスト性を改善する。
提案手法を最先端のディープトラッキングアルゴリズムに適用する。
論文 参考訳（メタデータ） (2020-07-20T08:05:55Z) - AdvMind: Inferring Adversary Intent of Black-Box Attacks [66.19339307119232]
本稿では,ブラックボックス攻撃の敵意を頑健に推定する新たな評価モデルであるAdvMindを提案する。
平均的なAdvMindは、3回未満のクエリバッチを観察した後、75%以上の精度で敵の意図を検出する。
論文 参考訳（メタデータ） (2020-06-16T22:04:31Z) - Deflecting Adversarial Attacks [94.85315681223702]
我々は、攻撃者が攻撃対象クラスに似た入力を生成することによって、敵攻撃を「防御」するこのサイクルを終わらせる新しいアプローチを提案する。
本稿ではまず,3つの検出機構を組み合わせたカプセルネットワークに基づくより強力な防御手法を提案する。
論文 参考訳（メタデータ） (2020-02-18T06:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。