論文の概要: Cassandra: Detecting Trojaned Networks from Adversarial Perturbations

• arxiv url: http://arxiv.org/abs/2007.14433v1
• Date: Tue, 28 Jul 2020 19:00:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 01:43:00.274603
• Title: Cassandra: Detecting Trojaned Networks from Adversarial Perturbations
• Title（参考訳）: Cassandra: 敵の摂動からトロイの木馬ネットワークを検出する
• Authors: Xiaoyu Zhang, Ajmal Mian, Rohit Gupta, Nazanin Rahnavard and Mubarak Shah
• Abstract要約: 多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。 本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。 本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
• 参考スコア（独自算出の注目度）: 92.43879594465422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are being widely deployed for many critical tasks due to their high classification accuracy. In many cases, pre-trained models are sourced from vendors who may have disrupted the training pipeline to insert Trojan behaviors into the models. These malicious behaviors can be triggered at the adversary's will and hence, cause a serious threat to the widespread deployment of deep models. We propose a method to verify if a pre-trained model is Trojaned or benign. Our method captures fingerprints of neural networks in the form of adversarial perturbations learned from the network gradients. Inserting backdoors into a network alters its decision boundaries which are effectively encoded in their adversarial perturbations. We train a two stream network for Trojan detection from its global ($L_\infty$ and $L_2$ bounded) perturbations and the localized region of high energy within each perturbation. The former encodes decision boundaries of the network and latter encodes the unknown trigger shape. We also propose an anomaly detection method to identify the target class in a Trojaned network. Our methods are invariant to the trigger type, trigger size, training data and network architecture. We evaluate our methods on MNIST, NIST-Round0 and NIST-Round1 datasets, with up to 1,000 pre-trained models making this the largest study to date on Trojaned network detection, and achieve over 92\% detection accuracy to set the new state-of-the-art.
• Abstract（参考訳）: ディープニューラルネットワークは、高い分類精度のため、多くの重要なタスクのために広くデプロイされている。 多くの場合、事前トレーニングされたモデルは、モデルにトロイの木馬の振る舞いを挿入するトレーニングパイプラインを中断した可能性のあるベンダーからソースされる。 これらの悪意ある行動は敵の意志によって引き起こされうるため、ディープモデルの普及に対する深刻な脅威となる。 事前学習したモデルがトロイの木馬であるか良性であるかを検証する手法を提案する。 本手法は,ネットワーク勾配から学習した逆摂動の形でニューラルネットワークの指紋をキャプチャする。 バックドアをネットワークに挿入すると、相手の摂動に効果的にエンコードされる決定境界が変わる。 トロイの木馬検出のための2つのストリームネットワークをグローバル(l_\infty$と$l_2$bound)の摂動と各摂動内の高エネルギーの局所化された領域から訓練する。 前者はネットワークの決定境界を符号化し、後者は未知のトリガー形状を符号化する。 また,Trojanedネットワークにおけるターゲットクラスを識別する異常検出手法を提案する。 私たちのメソッドは、トリガータイプ、トリガーサイズ、トレーニングデータ、ネットワークアーキテクチャに不変です。 mnist, nist-round0およびnist-round1データセットの手法を評価し, トロイの木馬ネットワーク検出において, これまでに最大1,000モデルまでの事前学習を行った。

関連論文リスト

• TEN-GUARD: Tensor Decomposition for Backdoor Attack Detection in Deep Neural Networks [3.489779105594534]
  本稿では,ネットワークアクティベーションに適用した2つのテンソル分解法によるバックドア検出手法を提案する。 これは、複数のモデルを同時に分析する機能など、既存の検出方法と比較して、多くの利点がある。 その結果,現在の最先端手法よりも,バックドアネットワークを高精度かつ効率的に検出できることがわかった。
  論文  参考訳（メタデータ） (2024-01-06T03:08:28Z)
• FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
  バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。 FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
  論文  参考訳（メタデータ） (2023-02-28T11:31:29Z)
• Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free [126.15842954405929]
  トロイの木馬攻撃はディープニューラルネットワーク(DNN)を脅かし、ほとんどのサンプルで正常に動作させるが、トリガーを付けた入力に対して操作された結果を生成する。 そこで我々は,まず,クリーンな入力において,ほぼ完全なトロイの木馬の情報のみを保存し,かつ,すでに孤立しているサブネットワークに埋め込まれたトリガを復元する,新しいトロイの木馬ネットワーク検出方式を提案する。
  論文  参考訳（メタデータ） (2022-05-24T06:33:31Z)
• An Adaptive Black-box Backdoor Detection Method for Deep Neural Networks [25.593824693347113]
  ディープニューラルネットワーク(DNN)は、医療診断や自律運転など、さまざまな分野において前例のないパフォーマンスを示している。 それらは、ステルスシートリガーによって制御され、活性化されるニューラルトロイの木馬攻撃(NT)に対して脆弱である。 本稿では,事前訓練したトロイの木馬が展開前にトロイの木馬に検出されたかどうかを検査するロバストで適応的なトロイの木馬検出手法を提案する。
  論文  参考訳（メタデータ） (2022-04-08T23:41:19Z)
• Trojan Signatures in DNN Weights [20.93172486021463]
  トレーニング/テストデータへのアクセスを必要としない,最初の超軽量かつ高効率なトロイの木馬検出手法を提案する。 本手法は, ネットワークの最終線形層の重み解析に着目する。 トロイの木的対象クラスに関連する重みの分布は、他のクラスに関連する重みと明確に区別可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T03:07:03Z)
• Topological Detection of Trojaned Neural Networks [10.559903139528252]
  トロイの木馬攻撃は、攻撃者がモデルの動きを密かに操作する際に起こる。 トロイの木馬模型を特徴付ける微妙な構造偏差が見つかる。 トロイの木馬モデルのロバスト検出のための戦略を考案する。
  論文  参考訳（メタデータ） (2021-06-11T15:48:16Z)
• Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases [87.69818690239627]
  本稿では,データスカース方式におけるトロイの木馬ネットワーク(トロイの木馬網)検出の問題点について検討する。 本稿では,データ限定型TrojanNet検出器(TND)を提案する。 さらに,データサンプルにアクセスせずにTrojanNetを検出できるデータフリーTNDを提案する。
  論文  参考訳（メタデータ） (2020-07-31T02:00:38Z)
• Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
  トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。 既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。 そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
  論文  参考訳（メタデータ） (2020-07-16T06:55:00Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。