論文の概要: Robust Backdoor Detection for Deep Learning via Topological Evolution Dynamics
- arxiv url: http://arxiv.org/abs/2312.02673v1
- Date: Tue, 5 Dec 2023 11:29:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 13:05:51.108388
- Title: Robust Backdoor Detection for Deep Learning via Topological Evolution Dynamics
- Title(参考訳): トポロジカル進化ダイナミクスを用いた深層学習のためのロバストなバックドア検出
- Authors: Xiaoxing Mo, Yechao Zhang, Leo Yu Zhang, Wei Luo, Nan Sun, Shengshan Hu, Shang Gao, Yang Xiang,
- Abstract要約: ディープラーニングにおけるバックドア攻撃は、特定の入力パターンに対して悪意ある振る舞いを引き起こすために、モデルに隠れたバックドアを挿入する。
本稿では,新しいSSDT (Source-Specific and Dynamic-Triggers) バックドアを導入することで,この仮定に厳しい制約があることを述べる。
本研究では,ロバストなバックドア検出のためのモデルに依存しない基盤としてTED(トポロジカル・エボリューション・ダイナミクス)を提案する。
- 参考スコア(独自算出の注目度): 18.28911572993562
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A backdoor attack in deep learning inserts a hidden backdoor in the model to trigger malicious behavior upon specific input patterns. Existing detection approaches assume a metric space (for either the original inputs or their latent representations) in which normal samples and malicious samples are separable. We show that this assumption has a severe limitation by introducing a novel SSDT (Source-Specific and Dynamic-Triggers) backdoor, which obscures the difference between normal samples and malicious samples. To overcome this limitation, we move beyond looking for a perfect metric space that would work for different deep-learning models, and instead resort to more robust topological constructs. We propose TED (Topological Evolution Dynamics) as a model-agnostic basis for robust backdoor detection. The main idea of TED is to view a deep-learning model as a dynamical system that evolves inputs to outputs. In such a dynamical system, a benign input follows a natural evolution trajectory similar to other benign inputs. In contrast, a malicious sample displays a distinct trajectory, since it starts close to benign samples but eventually shifts towards the neighborhood of attacker-specified target samples to activate the backdoor. Extensive evaluations are conducted on vision and natural language datasets across different network architectures. The results demonstrate that TED not only achieves a high detection rate, but also significantly outperforms existing state-of-the-art detection approaches, particularly in addressing the sophisticated SSDT attack. The code to reproduce the results is made public on GitHub.
- Abstract(参考訳): ディープラーニングにおけるバックドア攻撃は、特定の入力パターンに対して悪意ある振る舞いを引き起こすために、モデルに隠れたバックドアを挿入する。
既存の検出手法は、通常のサンプルと悪意のあるサンプルが分離可能な距離空間(元の入力またはその潜在表現)を仮定する。
この仮定は、新しいSSDT(Source-Specific and Dynamic-Triggers)バックドアを導入し、通常のサンプルと悪意のあるサンプルの違いを曖昧にすることで、深刻な制限を有することを示す。
この制限を克服するために、我々は異なるディープラーニングモデルで機能する完璧な距離空間を探すことを超えて、より堅牢なトポロジ的構造を利用する。
本研究では,ロバストなバックドア検出のためのモデルに依存しない基盤としてTED(トポロジカル・エボリューション・ダイナミクス)を提案する。
TEDの主な考え方は、ディープラーニングモデルをインプットからアウトプットへと進化する動的システムとして見ることである。
そのような力学系において、良性入力は他の良性入力と同様の自然な進化軌道に従う。
対照的に、悪意のあるサンプルは、良識のあるサンプルに近づき始めるが、最終的には攻撃者が特定したターゲットサンプルの近傍に移動し、バックドアを活性化する。
さまざまなネットワークアーキテクチャにわたるビジョンと自然言語データセットに対して、広範囲な評価が行われる。
その結果、TEDは高い検出率を達成するだけでなく、特に高度なSSDT攻撃に対処する上で、既存の最先端検出アプローチよりも大幅に優れていることが示された。
結果を再現するコードはGitHubで公開されている。
関連論文リスト
- Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。
動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。
本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
論文 参考訳(メタデータ) (2024-10-16T18:44:22Z) - OCGEC: One-class Graph Embedding Classification for DNN Backdoor Detection [18.11795712499763]
本研究では,一クラスグラフ埋め込み分類(OCGEC)と呼ばれる新しい一クラス分類フレームワークを提案する。
OCGECは、少量のクリーンデータだけでモデルレベルのバックドア検出にGNNを使用する。
他のベースラインと比較して、AUCのスコアは、多くのタスクで98%以上である。
論文 参考訳(メタデータ) (2023-12-04T02:48:40Z) - XGBD: Explanation-Guided Graph Backdoor Detection [21.918945251903523]
バックドア攻撃は、グラフ学習モデルに重大なセキュリティリスクをもたらす。
トポロジ情報を活用するために,説明誘導型バックドア検出手法を提案する。
論文 参考訳(メタデータ) (2023-08-08T17:10:23Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳(メタデータ) (2023-05-11T10:05:57Z) - Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。
具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。
機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文 参考訳(メタデータ) (2023-05-03T20:31:13Z) - FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。
FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
論文 参考訳(メタデータ) (2023-02-28T11:31:29Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - Adaptive Perturbation Generation for Multiple Backdoors Detection [29.01715186371785]
本稿では,複数種類のバックドア攻撃を検出するための適応摂動生成(APG)フレームワークを提案する。
まず,複数種類のバックドアトリガに適合するグローバル・ローカル戦略を設計する。
摂動注入の効率をさらに高めるため,勾配誘導マスク生成戦略を導入する。
論文 参考訳(メタデータ) (2022-09-12T13:37:06Z) - Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
周波数領域に基づく一般化されたバックドア攻撃手法を提案する。
トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。
我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
論文 参考訳(メタデータ) (2022-07-09T07:05:53Z) - An Adaptive Black-box Backdoor Detection Method for Deep Neural Networks [25.593824693347113]
ディープニューラルネットワーク(DNN)は、医療診断や自律運転など、さまざまな分野において前例のないパフォーマンスを示している。
それらは、ステルスシートリガーによって制御され、活性化されるニューラルトロイの木馬攻撃(NT)に対して脆弱である。
本稿では,事前訓練したトロイの木馬が展開前にトロイの木馬に検出されたかどうかを検査するロバストで適応的なトロイの木馬検出手法を提案する。
論文 参考訳(メタデータ) (2022-04-08T23:41:19Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳(メタデータ) (2020-06-10T04:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。