論文の概要: Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free
- arxiv url: http://arxiv.org/abs/2205.11819v1
- Date: Tue, 24 May 2022 06:33:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:21:35.012034
- Title: Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free
- Title(参考訳): 隔離:スパルシティはトロイの木馬攻撃のトリガーをフリーで発見できる
- Authors: Tianlong Chen, Zhenyu Zhang, Yihua Zhang, Shiyu Chang, Sijia Liu,
Zhangyang Wang
- Abstract要約: トロイの木馬攻撃はディープニューラルネットワーク(DNN)を脅かし、ほとんどのサンプルで正常に動作させるが、トリガーを付けた入力に対して操作された結果を生成する。
そこで我々は,まず,クリーンな入力において,ほぼ完全なトロイの木馬の情報のみを保存し,かつ,すでに孤立しているサブネットワークに埋め込まれたトリガを復元する,新しいトロイの木馬ネットワーク検出方式を提案する。
- 参考スコア(独自算出の注目度): 126.15842954405929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trojan attacks threaten deep neural networks (DNNs) by poisoning them to
behave normally on most samples, yet to produce manipulated results for inputs
attached with a particular trigger. Several works attempt to detect whether a
given DNN has been injected with a specific trigger during the training. In a
parallel line of research, the lottery ticket hypothesis reveals the existence
of sparse subnetworks which are capable of reaching competitive performance as
the dense network after independent training. Connecting these two dots, we
investigate the problem of Trojan DNN detection from the brand new lens of
sparsity, even when no clean training data is available. Our crucial
observation is that the Trojan features are significantly more stable to
network pruning than benign features. Leveraging that, we propose a novel
Trojan network detection regime: first locating a "winning Trojan lottery
ticket" which preserves nearly full Trojan information yet only chance-level
performance on clean inputs; then recovering the trigger embedded in this
already isolated subnetwork. Extensive experiments on various datasets, i.e.,
CIFAR-10, CIFAR-100, and ImageNet, with different network architectures, i.e.,
VGG-16, ResNet-18, ResNet-20s, and DenseNet-100 demonstrate the effectiveness
of our proposal. Codes are available at
https://github.com/VITA-Group/Backdoor-LTH.
- Abstract(参考訳): トロイの木馬の攻撃は、ディープニューラルネットワーク(DNN)を脅かし、ほとんどのサンプルで正常に動作させるが、特定のトリガが付いた入力に対して操作された結果を生成する。
トレーニング中に所定のdnnが特定のトリガーで注入されたかどうかを検出するためのいくつかの作業。
並列的な研究で、抽選券仮説は、独立訓練後の高密度ネットワークとして競争力を得ることのできるスパースサブネットの存在を明らかにする。
これら2つの点を接続し,クリーンなトレーニングデータがない場合でも,新しいスパルシティーレンズからトロイの木馬dnn検出の問題点について検討する。
我々の重要な観察は、トロイの木馬の特徴は良質な特徴よりもネットワークプルーニングにかなり安定しているということです。
そこで我々は,まず,ほぼ完全なトロイの木馬情報を保持するとともに,クリーンな入力におけるチャンスレベルの性能のみを保持する「勝利したトロイの木馬抽選券」を探索し,すでに孤立しているサブネットワークに埋め込まれたトリガを復元する,新しいトロイの木馬網検出方式を提案する。
CIFAR-10、CIFAR-100、ImageNetなど、さまざまなネットワークアーキテクチャ、すなわちVGG-16、ResNet-18、ResNet-20s、DenseNet-100に関する大規模な実験は、我々の提案の有効性を示している。
コードはhttps://github.com/VITA-Group/Backdoor-LTHで公開されている。
関連論文リスト
- Hardly Perceptible Trojan Attack against Neural Networks with Bit Flips [51.17948837118876]
ほとんど知覚できないトロイア攻撃(HPT)を呈する。
HPTは、加算ノイズと画素あたりのフロー場を利用して、知覚しにくいトロイの木像を作成する。
より優れた攻撃性能を達成するために,ビットフリップ,付加雑音,流れ場を協調的に最適化することを提案する。
論文 参考訳(メタデータ) (2022-07-27T09:56:17Z) - CatchBackdoor: Backdoor Detection via Critical Trojan Neural Path Fuzzing [16.44147178061005]
様々なトロイの木馬攻撃によって引き起こされる トロイの木馬の行動は トロイの木馬の道のせいだ
トロイの木馬攻撃に対する検出手法であるCatchBackdoorを提案する。
論文 参考訳(メタデータ) (2021-12-24T13:57:03Z) - CLEANN: Accelerated Trojan Shield for Embedded Neural Networks [32.99727805086791]
組込みディープニューラルネットワーク(DNN)アプリケーションに対するトロイの木馬のオンライン緩和を可能にする,最初のエンドツーエンドフレームワークであるCLEANNを提案する。
トロイの木馬攻撃は、訓練中にDNNにバックドアを注入することで動作し、推論中は特定のバックドアトリガーによってトロイの木馬が活性化される。
辞書学習とスパース近似を利用して、良性データの統計的挙動を特徴づけ、トロイの木馬のトリガーを同定する。
論文 参考訳(メタデータ) (2020-09-04T05:29:38Z) - Practical Detection of Trojan Neural Networks: Data-Limited and
Data-Free Cases [87.69818690239627]
本稿では,データスカース方式におけるトロイの木馬ネットワーク(トロイの木馬網)検出の問題点について検討する。
本稿では,データ限定型TrojanNet検出器(TND)を提案する。
さらに,データサンプルにアクセスせずにTrojanNetを検出できるデータフリーTNDを提案する。
論文 参考訳(メタデータ) (2020-07-31T02:00:38Z) - Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。
本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。
本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
論文 参考訳(メタデータ) (2020-07-28T19:00:40Z) - Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。
既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。
そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
論文 参考訳(メタデータ) (2020-07-16T06:55:00Z) - An Embarrassingly Simple Approach for Trojan Attack in Deep Neural
Networks [59.42357806777537]
トロイの木馬攻撃は、ハッカーが挿入した隠れトリガーパターンに依存する、デプロイされたディープニューラルネットワーク(DNN)を攻撃することを目的としている。
そこで本研究では,有毒データセットの再学習モデルによりトロイの木馬の挙動を注入する,従来と異なる学習自由攻撃手法を提案する。
提案したTrojanNetには,(1)小さなトリガパターンによって起動し,他の信号に対してサイレントを維持する,(2)モデルに依存しない,ほとんどのDNNに注入可能な,(3)攻撃シナリオを劇的に拡張する,(3)訓練不要のメカニズムは従来のトロイの木馬攻撃方法と比較して大規模なトレーニング作業の削減など,いくつかの優れた特性がある。
論文 参考訳(メタデータ) (2020-06-15T04:58:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。