論文の概要: CatchBackdoor: Backdoor Testing by Critical Trojan Neural Path
Identification via Differential Fuzzing
- arxiv url: http://arxiv.org/abs/2112.13064v1
- Date: Fri, 24 Dec 2021 13:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 15:16:03.343029
- Title: CatchBackdoor: Backdoor Testing by Critical Trojan Neural Path
Identification via Differential Fuzzing
- Title（参考訳）: CatchBackdoor:差動ファズリングによる臨界トロイの木馬神経経路同定によるバックドアテスト
- Authors: Haibo Jin, Ruoxi Chen, Jinyin Chen, Yao Cheng, Chong Fu, Ting Wang,
Yue Yu, and Zhaoyan Ming
- Abstract要約: 現実世界のアプリケーションにおけるディープニューラルネットワーク(DNN)の成功は、豊富な事前学習モデルの恩恵を受けている。
バックドアで事前訓練されたモデルは、下流DNNの展開に重大なトロイの木馬の脅威をもたらす可能性がある。
この作業は、DNNのバックドアテストの定式化と、CatchBackdoorフレームワークの提案である。
- 参考スコア（独自算出の注目度）: 10.195729680573775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of deep neural networks (DNNs) in real-world applications has
benefited from abundant pre-trained models. However, the backdoored pre-trained
models can pose a significant trojan threat to the deployment of downstream
DNNs. Existing DNN testing methods are mainly designed to find incorrect corner
case behaviors in adversarial settings but fail to discover the backdoors
crafted by strong trojan attacks. Observing the trojan network behaviors shows
that they are not just reflected by a single compromised neuron as proposed by
previous work but attributed to the critical neural paths in the activation
intensity and frequency of multiple neurons. This work formulates the DNN
backdoor testing and proposes the CatchBackdoor framework. Via differential
fuzzing of critical neurons from a small number of benign examples, we identify
the trojan paths and particularly the critical ones, and generate backdoor
testing examples by simulating the critical neurons in the identified paths.
Extensive experiments demonstrate the superiority of CatchBackdoor, with higher
detection performance than existing methods. CatchBackdoor works better on
detecting backdoors by stealthy blending and adaptive attacks, which existing
methods fail to detect. Moreover, our experiments show that CatchBackdoor may
reveal the potential backdoors of models in Model Zoo.
- Abstract（参考訳）: 現実世界のアプリケーションにおけるディープニューラルネットワーク(DNN)の成功は、豊富な事前学習モデルの恩恵を受けている。
しかし、バックドアで事前訓練されたモデルは下流dnnの配備に重大な脅威をもたらす可能性がある。
既存のDNNテスト手法は主に、敵の設定で誤ったコーナーケースの振る舞いを見つけるために設計されているが、強力なトロイの木馬によるバックドアの発見には失敗した。
トロジャンネットワークの挙動を観察すると、それらは以前の研究で提案されたように単一の妥協ニューロンによって反映されるだけでなく、複数のニューロンの活性化強度と周波数における臨界神経経路に起因していることがわかる。
この作業はDNNのバックドアテストを公式化し、CatchBackdoorフレームワークを提案する。
少数の良性例からの臨界ニューロンの微分ファジングにより、トロイの木馬の経路、特に重要な経路を特定し、同定された経路の臨界ニューロンをシミュレートしてバックドアテストの例を生成する。
大規模な実験は、既存の方法よりも高い検出性能を持つCatchBackdoorの優位性を実証している。
catchbackdoorは、既存の方法では検出できない、ステルスブレンドとアダプティブアタックによってバックドアを検知する。
さらに,モデルゾウにおけるモデルバックドアの可能性を明らかにする実験を行った。
関連論文リスト
- Attention-Enhancing Backdoor Attacks Against BERT-based Models [54.070555070629105]
バックドア攻撃の戦略を調べることは、モデルの脆弱性を理解するのに役立つだろう。
本稿では,注意パターンを直接操作することでトロイの木馬行動を向上させる新しいトロイの木馬注意損失(TAL)を提案する。
論文 参考訳（メタデータ） (2023-10-23T01:24:56Z) - FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。
FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
論文 参考訳（メタデータ） (2023-02-28T11:31:29Z) - Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free [126.15842954405929]
トロイの木馬攻撃はディープニューラルネットワーク(DNN)を脅かし、ほとんどのサンプルで正常に動作させるが、トリガーを付けた入力に対して操作された結果を生成する。
そこで我々は,まず,クリーンな入力において,ほぼ完全なトロイの木馬の情報のみを保存し,かつ,すでに孤立しているサブネットワークに埋め込まれたトリガを復元する,新しいトロイの木馬ネットワーク検出方式を提案する。
論文 参考訳（メタデータ） (2022-05-24T06:33:31Z) - A Synergetic Attack against Neural Network Classifiers combining
Backdoor and Adversarial Examples [11.534521802321976]
AdvTrojanと呼ばれる新たなステルス攻撃を実際に開始するために、敵の摂動と毒殺の脆弱性を共同で活用する方法を示します。
AdvTrojan は、(1) 慎重に製作された逆方向の摂動を推論中に入力例に注入し、2) モデルの訓練過程中にトロイの木戸を埋め込んだ場合にのみ起動できるため、ステルス性が高い。
論文 参考訳（メタデータ） (2021-09-03T02:18:57Z) - Topological Detection of Trojaned Neural Networks [10.559903139528252]
トロイの木馬攻撃は、攻撃者がモデルの動きを密かに操作する際に起こる。
トロイの木馬模型を特徴付ける微妙な構造偏差が見つかる。
トロイの木馬モデルのロバスト検出のための戦略を考案する。
論文 参考訳（メタデータ） (2021-06-11T15:48:16Z) - Deep Feature Space Trojan Attack of Neural Networks by Controlled
Detoxification [21.631699720855995]
トロイの木馬攻撃(Trojan attack)は、ディープニューラルネットワークに対する敵攻撃の一種である。
5つの特徴を持つ新しい深部特徴空間トロイの木馬攻撃を提案する。
論文 参考訳（メタデータ） (2020-12-21T09:46:12Z) - CLEANN: Accelerated Trojan Shield for Embedded Neural Networks [32.99727805086791]
組込みディープニューラルネットワーク(DNN)アプリケーションに対するトロイの木馬のオンライン緩和を可能にする,最初のエンドツーエンドフレームワークであるCLEANNを提案する。
トロイの木馬攻撃は、訓練中にDNNにバックドアを注入することで動作し、推論中は特定のバックドアトリガーによってトロイの木馬が活性化される。
辞書学習とスパース近似を利用して、良性データの統計的挙動を特徴づけ、トロイの木馬のトリガーを同定する。
論文 参考訳（メタデータ） (2020-09-04T05:29:38Z) - Practical Detection of Trojan Neural Networks: Data-Limited and
Data-Free Cases [87.69818690239627]
本稿では,データスカース方式におけるトロイの木馬ネットワーク(トロイの木馬網)検出の問題点について検討する。
本稿では,データ限定型TrojanNet検出器(TND)を提案する。
さらに,データサンプルにアクセスせずにTrojanNetを検出できるデータフリーTNDを提案する。
論文 参考訳（メタデータ） (2020-07-31T02:00:38Z) - Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。
既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。
そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
論文 参考訳（メタデータ） (2020-07-16T06:55:00Z) - An Embarrassingly Simple Approach for Trojan Attack in Deep Neural
Networks [59.42357806777537]
トロイの木馬攻撃は、ハッカーが挿入した隠れトリガーパターンに依存する、デプロイされたディープニューラルネットワーク(DNN)を攻撃することを目的としている。
そこで本研究では,有毒データセットの再学習モデルによりトロイの木馬の挙動を注入する,従来と異なる学習自由攻撃手法を提案する。
提案したTrojanNetには,(1)小さなトリガパターンによって起動し,他の信号に対してサイレントを維持する,(2)モデルに依存しない,ほとんどのDNNに注入可能な,(3)攻撃シナリオを劇的に拡張する,(3)訓練不要のメカニズムは従来のトロイの木馬攻撃方法と比較して大規模なトレーニング作業の削減など,いくつかの優れた特性がある。
論文 参考訳（メタデータ） (2020-06-15T04:58:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。