論文の概要: CatchBackdoor: Backdoor Detection via Critical Trojan Neural Path Fuzzing
- arxiv url: http://arxiv.org/abs/2112.13064v3
- Date: Wed, 17 Jul 2024 13:58:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 00:00:34.669530
- Title: CatchBackdoor: Backdoor Detection via Critical Trojan Neural Path Fuzzing
- Title(参考訳): CatchBackdoor: 臨界トロイの木馬神経経路ファズリングによるバックドア検出
- Authors: Haibo Jin, Ruoxi Chen, Jinyin Chen, Haibin Zheng, Yang Zhang, Haohan Wang,
- Abstract要約: 様々なトロイの木馬攻撃によって引き起こされる トロイの木馬の行動は トロイの木馬の道のせいだ
トロイの木馬攻撃に対する検出手法であるCatchBackdoorを提案する。
- 参考スコア(独自算出の注目度): 16.44147178061005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of deep neural networks (DNNs) in real-world applications has benefited from abundant pre-trained models. However, the backdoored pre-trained models can pose a significant trojan threat to the deployment of downstream DNNs. Numerous backdoor detection methods have been proposed but are limited to two aspects: (1) high sensitivity on trigger size, especially on stealthy attacks (i.e., blending attacks and defense adaptive attacks); (2) rely heavily on benign examples for reverse engineering. To address these challenges, we empirically observed that trojaned behaviors triggered by various trojan attacks can be attributed to the trojan path, composed of top-$k$ critical neurons with more significant contributions to model prediction changes. Motivated by it, we propose CatchBackdoor, a detection method against trojan attacks. Based on the close connection between trojaned behaviors and trojan path to trigger errors, CatchBackdoor starts from the benign path and gradually approximates the trojan path through differential fuzzing. We then reverse triggers from the trojan path, to trigger errors caused by diverse trojaned attacks. Extensive experiments on MINST, CIFAR-10, and a-ImageNet datasets and 7 models (LeNet, ResNet, and VGG) demonstrate the superiority of CatchBackdoor over the state-of-the-art methods, in terms of (1) \emph{effective} - it shows better detection performance, especially on stealthy attacks ($\sim$ $\times$ 2 on average); (2) \emph{extensible} - it is robust to trigger size and can conduct detection without benign examples.
- Abstract(参考訳): 現実世界のアプリケーションにおけるディープニューラルネットワーク(DNN)の成功は、豊富な事前学習モデルの恩恵を受けている。
しかし、バックドアで事前訓練されたモデルは、下流DNNの展開に重大なトロイの木馬の脅威をもたらす可能性がある。
多数のバックドア検出法が提案されているが,(1)トリガーサイズに対する高い感度,特にステルス攻撃(ブレンディング攻撃と防御適応攻撃),(2)リバースエンジニアリングの良質な例に大きく依存する2つの側面に限られている。
これらの課題に対処するために、様々なトロイの木馬攻撃によって引き起こされるトロイの木馬の行動は、トロイの木馬経路に起因しうることを実証的に観察した。
そこで我々は,トロイの木馬攻撃に対する検出手法であるCatchBackdoorを提案する。
CatchBackdoorは、トロイの木馬の行動とトロイの木馬の経路の密接な接続に基づいて、良性パスから始まり、差分ファズリングを通じて徐々にトロイの木馬の道を近似する。
次に、トロイの木道からのトリガーを反転させ、多様なトロイの木道攻撃によるエラーを発生させる。
MINST、CIFAR-10、およびa-ImageNetデータセットと7つのモデル(LeNet、ResNet、VGG)に関する大規模な実験は、(1) \emph{ Effective} - 特にステルス攻撃(平均$\sim$$\times$2)において、CatchBackdoorが最先端のメソッドよりも優れていることを実証している。
関連論文リスト
- Attention-Enhancing Backdoor Attacks Against BERT-based Models [54.070555070629105]
バックドア攻撃の戦略を調べることは、モデルの脆弱性を理解するのに役立つだろう。
本稿では,注意パターンを直接操作することでトロイの木馬行動を向上させる新しいトロイの木馬注意損失(TAL)を提案する。
論文 参考訳(メタデータ) (2023-10-23T01:24:56Z) - FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。
FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
論文 参考訳(メタデータ) (2023-02-28T11:31:29Z) - Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free [126.15842954405929]
トロイの木馬攻撃はディープニューラルネットワーク(DNN)を脅かし、ほとんどのサンプルで正常に動作させるが、トリガーを付けた入力に対して操作された結果を生成する。
そこで我々は,まず,クリーンな入力において,ほぼ完全なトロイの木馬の情報のみを保存し,かつ,すでに孤立しているサブネットワークに埋め込まれたトリガを復元する,新しいトロイの木馬ネットワーク検出方式を提案する。
論文 参考訳(メタデータ) (2022-05-24T06:33:31Z) - A Synergetic Attack against Neural Network Classifiers combining
Backdoor and Adversarial Examples [11.534521802321976]
AdvTrojanと呼ばれる新たなステルス攻撃を実際に開始するために、敵の摂動と毒殺の脆弱性を共同で活用する方法を示します。
AdvTrojan は、(1) 慎重に製作された逆方向の摂動を推論中に入力例に注入し、2) モデルの訓練過程中にトロイの木戸を埋め込んだ場合にのみ起動できるため、ステルス性が高い。
論文 参考訳(メタデータ) (2021-09-03T02:18:57Z) - Topological Detection of Trojaned Neural Networks [10.559903139528252]
トロイの木馬攻撃は、攻撃者がモデルの動きを密かに操作する際に起こる。
トロイの木馬模型を特徴付ける微妙な構造偏差が見つかる。
トロイの木馬モデルのロバスト検出のための戦略を考案する。
論文 参考訳(メタデータ) (2021-06-11T15:48:16Z) - Deep Feature Space Trojan Attack of Neural Networks by Controlled
Detoxification [21.631699720855995]
トロイの木馬攻撃(Trojan attack)は、ディープニューラルネットワークに対する敵攻撃の一種である。
5つの特徴を持つ新しい深部特徴空間トロイの木馬攻撃を提案する。
論文 参考訳(メタデータ) (2020-12-21T09:46:12Z) - CLEANN: Accelerated Trojan Shield for Embedded Neural Networks [32.99727805086791]
組込みディープニューラルネットワーク(DNN)アプリケーションに対するトロイの木馬のオンライン緩和を可能にする,最初のエンドツーエンドフレームワークであるCLEANNを提案する。
トロイの木馬攻撃は、訓練中にDNNにバックドアを注入することで動作し、推論中は特定のバックドアトリガーによってトロイの木馬が活性化される。
辞書学習とスパース近似を利用して、良性データの統計的挙動を特徴づけ、トロイの木馬のトリガーを同定する。
論文 参考訳(メタデータ) (2020-09-04T05:29:38Z) - Practical Detection of Trojan Neural Networks: Data-Limited and
Data-Free Cases [87.69818690239627]
本稿では,データスカース方式におけるトロイの木馬ネットワーク(トロイの木馬網)検出の問題点について検討する。
本稿では,データ限定型TrojanNet検出器(TND)を提案する。
さらに,データサンプルにアクセスせずにTrojanNetを検出できるデータフリーTNDを提案する。
論文 参考訳(メタデータ) (2020-07-31T02:00:38Z) - Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。
既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。
そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
論文 参考訳(メタデータ) (2020-07-16T06:55:00Z) - An Embarrassingly Simple Approach for Trojan Attack in Deep Neural
Networks [59.42357806777537]
トロイの木馬攻撃は、ハッカーが挿入した隠れトリガーパターンに依存する、デプロイされたディープニューラルネットワーク(DNN)を攻撃することを目的としている。
そこで本研究では,有毒データセットの再学習モデルによりトロイの木馬の挙動を注入する,従来と異なる学習自由攻撃手法を提案する。
提案したTrojanNetには,(1)小さなトリガパターンによって起動し,他の信号に対してサイレントを維持する,(2)モデルに依存しない,ほとんどのDNNに注入可能な,(3)攻撃シナリオを劇的に拡張する,(3)訓練不要のメカニズムは従来のトロイの木馬攻撃方法と比較して大規模なトレーニング作業の削減など,いくつかの優れた特性がある。
論文 参考訳(メタデータ) (2020-06-15T04:58:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。