論文の概要: Noise as a Double-Edged Sword: Reinforcement Learning Exploits Randomized Defenses in Neural Networks

• arxiv url: http://arxiv.org/abs/2410.23870v1
• Date: Thu, 31 Oct 2024 12:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:06.972482
• Title: Noise as a Double-Edged Sword: Reinforcement Learning Exploits Randomized Defenses in Neural Networks
• Title（参考訳）: ダブルエッジソードとしてのノイズ:ニューラルネットワークのランダムな防御を強化学習する
• Authors: Steve Bakos, Pooria Madani, Heidar Davoudi,
• Abstract要約: 本研究では,騒音による防御が,特定のシナリオにおける回避攻撃を不注意に支援する可能性について検討する。 ノイズベースの防御は、RL攻撃者に有益な敵の訓練ループを不注意に作成する場合もある。 ランダム性は、回避攻撃に対する防衛を普遍的に強化する、という仮定に挑戦する。
• 参考スコア（独自算出の注目度）: 1.788784870849724
• License:
• Abstract: This study investigates a counterintuitive phenomenon in adversarial machine learning: the potential for noise-based defenses to inadvertently aid evasion attacks in certain scenarios. While randomness is often employed as a defensive strategy against adversarial examples, our research reveals that this approach can sometimes backfire, particularly when facing adaptive attackers using reinforcement learning (RL). Our findings show that in specific cases, especially with visually noisy classes, the introduction of noise in the classifier's confidence values can be exploited by the RL attacker, leading to a significant increase in evasion success rates. In some instances, the noise-based defense scenario outperformed other strategies by up to 20\% on a subset of classes. However, this effect was not consistent across all classifiers tested, highlighting the complexity of the interaction between noise-based defenses and different models. These results suggest that in some cases, noise-based defenses can inadvertently create an adversarial training loop beneficial to the RL attacker. Our study emphasizes the need for a more nuanced approach to defensive strategies in adversarial machine learning, particularly in safety-critical applications. It challenges the assumption that randomness universally enhances defense against evasion attacks and highlights the importance of considering adaptive, RL-based attackers when designing robust defense mechanisms.
• Abstract（参考訳）: 本研究では,敵対的機械学習における反直感的現象について検討し,あるシナリオにおいて,騒音による防御が回避攻撃を不注意に支援する可能性について検討した。 ランダム性はしばしば敵の例に対する防御戦略として用いられるが,本研究は,特に強化学習(RL)を用いた適応攻撃者に対して,このアプローチがバックファイアすることがあることを明らかにしている。 以上の結果から,特に視覚障害のあるクラスでは,RL攻撃者による識別器の信頼度値のノイズ導入が有効であり,回避成功率の顕著な上昇が示唆された。 いくつかのケースでは、ノイズベースの防御シナリオは、クラスの一部で最大20\%の他の戦略より優れています。 しかし、この効果は試験された全ての分類器で一致せず、ノイズベースディフェンスと異なるモデルとの相互作用の複雑さを強調した。 これらの結果から, 騒音による防御は, RL攻撃者に有利な対向訓練ループを不注意に生成できる可能性が示唆された。 我々の研究は、対戦型機械学習、特に安全クリティカルなアプリケーションにおいて、防御戦略に対するよりニュアンスなアプローチの必要性を強調している。 ランダム性は回避攻撃に対する防御を普遍的に強化し、堅牢な防御機構を設計する際に適応的なRLベースの攻撃を考えることの重要性を強調している、という仮定に挑戦する。

関連論文リスト

• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• On the Difficulty of Defending Contrastive Learning against Backdoor Attacks [58.824074124014224]
  バックドア攻撃が、特有のメカニズムによってどのように動作するかを示す。 本研究は, 対照的なバックドア攻撃の特異性に合わせて, 防御の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2023-12-14T15:54:52Z)
• Defending Observation Attacks in Deep Reinforcement Learning via Detection and Denoising [3.2023814100005907]
  外部環境が管理する観測空間における摂動として現れる攻撃は、政策性能を低下させる。 これらの攻撃を防御するために,検出・復号化スキーマを用いた新しい防衛戦略を提案する。 我々のソリューションは攻撃中の環境でのサンプリングデータを必要としないため、トレーニング中のリスクを大幅に低減する。
  論文  参考訳（メタデータ） (2022-06-14T22:28:30Z)
• Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems [50.758281304737444]
  本稿では,強化学習に基づく対話型レコメンデーションシステムにおける敵例の探索と攻撃検出を提案する。 まず、入力に摂動を加え、カジュアルな要因に介入することで、異なる種類の逆例を作成する。 そこで,本研究では,人工データに基づく深層学習に基づく分類器による潜在的攻撃を検出することにより,推薦システムを強化した。
  論文  参考訳（メタデータ） (2021-12-02T04:12:24Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Theoretical Study of Random Noise Defense against Query-Based Black-Box Attacks [72.8152874114382]
  本研究では、クエリベースのブラックボックス攻撃に対するランダムノイズ防御(RND)と呼ばれる単純だが有望な防御手法を検討する。 軽量で、既製のモデルやその他の防衛戦略と直接組み合わせることができます。 本研究では,クエリベースのブラックボックス攻撃に対する rnd の防御効果と対応する適応攻撃がマグニチュード比に大きく依存することを示すための理論的解析を行った。
  論文  参考訳（メタデータ） (2021-04-23T08:39:41Z)
• Removing Adversarial Noise in Class Activation Feature Space [160.78488162713498]
  クラスアクティベーション機能空間において,自己監視型対人訓練機構を実装することにより,対人雑音の除去を提案する。 クラスアクティベーション機能空間における敵対例と自然な例の間の距離を最小にするために、デノイジングモデルを訓練する。 経験的評価により, 従来の手法と比較して, 敵対的堅牢性が有意に向上できることが示された。
  論文  参考訳（メタデータ） (2021-04-19T10:42:24Z)
• Mitigating Gradient-based Adversarial Attacks via Denoising and Compression [7.305019142196582]
  深層ニューラルネットワークに対する勾配に基づく逆攻撃は深刻な脅威となる。 それらは、任意のネットワークのテストデータに不可避な摂動を追加することでデプロイできる。 デノイジングと寸法減少は、そのような攻撃に対抗するために調査された2つの異なる方法である。
  論文  参考訳（メタデータ） (2021-04-03T22:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。