論文の概要: Mitigating Deep Reinforcement Learning Backdoors in the Neural Activation Space

• arxiv url: http://arxiv.org/abs/2407.15168v1
• Date: Sun, 21 Jul 2024 13:48:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 18:59:03.863674
• Title: Mitigating Deep Reinforcement Learning Backdoors in the Neural Activation Space
• Title（参考訳）: 神経活動空間における深層強化学習のバックドア
• Authors: Sanyam Vyas, Chris Hicks, Vasilios Mavroudis,
• Abstract要約: 本稿では,深層強化学習(DRL)エージェントポリシーにおけるバックドアの脅威について検討する。 実行時に検出する新しい方法を提案する。
• 参考スコア（独自算出の注目度）: 0.24578723416255752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the threat of backdoors in Deep Reinforcement Learning (DRL) agent policies and proposes a novel method for their detection at runtime. Our study focuses on elusive in-distribution backdoor triggers. Such triggers are designed to induce a deviation in the behaviour of a backdoored agent while blending into the expected data distribution to evade detection. Through experiments conducted in the Atari Breakout environment, we demonstrate the limitations of current sanitisation methods when faced with such triggers and investigate why they present a challenging defence problem. We then evaluate the hypothesis that backdoor triggers might be easier to detect in the neural activation space of the DRL agent's policy network. Our statistical analysis shows that indeed the activation patterns in the agent's policy network are distinct in the presence of a trigger, regardless of how well the trigger is concealed in the environment. Based on this, we propose a new defence approach that uses a classifier trained on clean environment samples and detects abnormal activations. Our results show that even lightweight classifiers can effectively prevent malicious actions with considerable accuracy, indicating the potential of this research direction even against sophisticated adversaries.
• Abstract（参考訳）: 本稿では, 深層強化学習(DRL)エージェントポリシーにおけるバックドアの脅威について検討し, 実行時検出のための新しい手法を提案する。 本研究は, アウトドア・トリガーの解明に焦点をあてる。 このようなトリガーは、期待するデータ分布にブレンドして検出を回避しながら、バックドアエージェントの動作に偏りを生じさせるように設計されている。 アタリ・ブレイクアウト環境で実施した実験を通じて、このようなトリガーに直面する場合の現在の衛生方法の限界を実証し、なぜ困難な防衛課題を提示するのかを考察する。 次に、DRLエージェントのポリシーネットワークの神経活性化空間において、バックドアトリガーがより容易に検出できるという仮説を評価する。 我々の統計分析によると、エージェントのポリシーネットワークの活性化パターンは、そのトリガーが環境の中でどれだけうまく隠されているかに関わらず、トリガーの存在下でははっきりしている。 そこで本研究では,クリーン環境サンプルに基づいて訓練された分類器を用いて,異常なアクティベーションを検出する新しい防衛手法を提案する。 本研究は, 軽量分類器であっても, 高い精度で悪意ある行為を効果的に防止できることを示し, 高度な敵に対しても, 研究の方向性の可能性を示唆している。

関連論文リスト

• Twin Trigger Generative Networks for Backdoor Attacks against Object Detection [14.578800906364414]
  オブジェクト検出器は、現実世界のアプリケーションで広く使われているが、バックドア攻撃に弱い。 バックドア攻撃に関するほとんどの研究は画像分類に焦点を合わせており、物体検出について限定的な研究がなされている。 本研究では,トレーニング中のモデルにバックドアを埋め込むための目に見えないトリガと,推論中の安定したアクティベーションのための目に見えるトリガを生成する新しいツイントリガ生成ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-11-23T03:46:45Z)
• Rethinking Graph Backdoor Attacks: A Distribution-Preserving Perspective [33.35835060102069]
  グラフニューラルネットワーク(GNN)は、様々なタスクにおいて顕著なパフォーマンスを示している。 バックドア攻撃は、トレーニンググラフ内のノードのセットにバックドアトリガとターゲットクラスラベルをアタッチすることで、グラフを汚染する。 本稿では,IDトリガによる無意味なグラフバックドア攻撃の新たな問題について検討する。
  論文  参考訳（メタデータ） (2024-05-17T13:09:39Z)
• DisDet: Exploring Detectability of Backdoor Attack on Diffusion Models [23.502100653704446]
  いくつかの先駆的な研究は、バックドア攻撃に対する拡散モデルの脆弱性を示している。 本稿では,バックドア拡散モデルに対する有毒音入力の検出可能性について検討する。 有害な入力ノイズを効果的に識別できる低コストトリガー検出機構を提案する。 次に、攻撃側から同じ問題を研究するためにさらに一歩踏み出し、無意味なトリガーを学習できるバックドア攻撃戦略を提案します。
  論文  参考訳（メタデータ） (2024-02-05T05:46:31Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• Confidence-driven Sampling for Backdoor Attacks [49.72680157684523]
  バックドア攻撃は、悪質なトリガをDNNモデルに過剰に挿入することを目的としており、テストシナリオ中に不正な制御を許可している。 既存の方法では防衛戦略に対する堅牢性が欠如しており、主に無作為な試薬を無作為に選別しながら、引き金の盗難を強化することに重点を置いている。 信頼性スコアの低いサンプルを選別し、これらの攻撃を識別・対処する上で、守備側の課題を著しく増大させる。
  論文  参考訳（メタデータ） (2023-10-08T18:57:36Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly Detection [16.010654200489913]
  本稿では,ニューラルネットワークのバックドア攻撃に対する新たな防御法を提案する。 バックドアネットワークの機能抽出層が新機能を組み込んでトリガーの存在を検出するという直感に基づいている。 バックドアの検出には、クリーンな検証データに基づいて訓練された2つの相乗的異常検出器を使用する。
  論文  参考訳（メタデータ） (2020-11-04T20:33:51Z)
• Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural Networks [25.23881974235643]
  バックドア攻撃は、引き起こされたサンプルの周りでよりスムーズな決定関数を誘導することを示します。 実験の結果,入力サンプルにトリガーを付加するとスムーズさが増加し,この現象はより成功した攻撃に対してより顕著であることがわかった。
  論文  参考訳（メタデータ） (2020-06-11T18:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。