論文の概要: Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases

• arxiv url: http://arxiv.org/abs/2007.15802v1
• Date: Fri, 31 Jul 2020 02:00:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 06:12:23.806435
• Title: Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases
• Title（参考訳）: トロイの木馬ニューラルネットワークの実用的検出:データ制限とデータフリーケース
• Authors: Ren Wang, Gaoyuan Zhang, Sijia Liu, Pin-Yu Chen, Jinjun Xiong, Meng Wang
• Abstract要約: 本稿では,データスカース方式におけるトロイの木馬ネットワーク(トロイの木馬網)検出の問題点について検討する。 本稿では,データ限定型TrojanNet検出器(TND)を提案する。 さらに,データサンプルにアクセスせずにTrojanNetを検出できるデータフリーTNDを提案する。
• 参考スコア（独自算出の注目度）: 87.69818690239627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When the training data are maliciously tampered, the predictions of the acquired deep neural network (DNN) can be manipulated by an adversary known as the Trojan attack (or poisoning backdoor attack). The lack of robustness of DNNs against Trojan attacks could significantly harm real-life machine learning (ML) systems in downstream applications, therefore posing widespread concern to their trustworthiness. In this paper, we study the problem of the Trojan network (TrojanNet) detection in the data-scarce regime, where only the weights of a trained DNN are accessed by the detector. We first propose a data-limited TrojanNet detector (TND), when only a few data samples are available for TrojanNet detection. We show that an effective data-limited TND can be established by exploring connections between Trojan attack and prediction-evasion adversarial attacks including per-sample attack as well as all-sample universal attack. In addition, we propose a data-free TND, which can detect a TrojanNet without accessing any data samples. We show that such a TND can be built by leveraging the internal response of hidden neurons, which exhibits the Trojan behavior even at random noise inputs. The effectiveness of our proposals is evaluated by extensive experiments under different model architectures and datasets including CIFAR-10, GTSRB, and ImageNet.
• Abstract（参考訳）: トレーニングデータが悪質に改ざんされた場合、取得したディープニューラルネットワーク(DNN)の予測は、トロイの木馬攻撃(または中毒バックドア攻撃)と呼ばれる敵によって操作できる。 トロイの木馬攻撃に対するDNNの堅牢性の欠如は、下流アプリケーションにおけるリアルタイム機械学習(ML)システムに大きなダメージを与える可能性がある。 本稿では,データカース方式におけるトロイの木馬ネットワーク(trojannet)検出の問題点について検討する。 まず,データ限定型TrojanNet検出器(TND)を提案する。 トロイの木馬攻撃と,各サンプル攻撃,全サンプルユニバーサル攻撃を含む予測・回避攻撃の関連を探索することにより,有効なデータ制限型tndを確立できることを示す。 さらに,データサンプルにアクセスせずにTrojanNetを検出できるデータフリーTNDを提案する。 このようなTNDは、ランダムノイズ入力においてもトロイの木馬の挙動を示す隠れニューロンの内部応答を利用して構築可能であることを示す。 提案手法の有効性は, CIFAR-10, GTSRB, ImageNetなど, 異なるモデルアーキテクチャおよびデータセット下での広範な実験により評価される。

関連論文リスト

• A Survey of Trojan Attacks and Defenses to Deep Neural Networks [3.9444202574850755]
  ディープニューラルネットワーク(DNN)は、安全クリティカルな人工知能システムに広範囲に応用されている。 最近の研究では、敵から悪意ある注射を受けたニューラルネットワークトロイの木馬(NNトロイの木馬)への感受性が明らかにされている。
  論文  参考訳（メタデータ） (2024-08-15T04:20:32Z)
• MDTD: A Multi Domain Trojan Detector for Deep Neural Networks [2.4651521935081364]
  ディープニューラルネットワーク(DNN)を使用する機械学習モデルは、バックドア攻撃に対して脆弱である。 テスト時にトロイジャントリガを含む入力を検出するDNN用マルチドメイントロイジャン検出器 MDTD を提案する。 対戦相手が堅牢なDNNを訓練し、決定境界からベニグン(トロイジャン)の入力距離を減少させる適応攻撃に対するMDTDの評価を行った。
  論文  参考訳（メタデータ） (2023-08-30T00:03:03Z)
• FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
  バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。 FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
  論文  参考訳（メタデータ） (2023-02-28T11:31:29Z)
• Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free [126.15842954405929]
  トロイの木馬攻撃はディープニューラルネットワーク(DNN)を脅かし、ほとんどのサンプルで正常に動作させるが、トリガーを付けた入力に対して操作された結果を生成する。 そこで我々は,まず,クリーンな入力において,ほぼ完全なトロイの木馬の情報のみを保存し,かつ,すでに孤立しているサブネットワークに埋め込まれたトリガを復元する,新しいトロイの木馬ネットワーク検出方式を提案する。
  論文  参考訳（メタデータ） (2022-05-24T06:33:31Z)
• CLEANN: Accelerated Trojan Shield for Embedded Neural Networks [32.99727805086791]
  組込みディープニューラルネットワーク(DNN)アプリケーションに対するトロイの木馬のオンライン緩和を可能にする,最初のエンドツーエンドフレームワークであるCLEANNを提案する。 トロイの木馬攻撃は、訓練中にDNNにバックドアを注入することで動作し、推論中は特定のバックドアトリガーによってトロイの木馬が活性化される。 辞書学習とスパース近似を利用して、良性データの統計的挙動を特徴づけ、トロイの木馬のトリガーを同定する。
  論文  参考訳（メタデータ） (2020-09-04T05:29:38Z)
• Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
  多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。 本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。 本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
  論文  参考訳（メタデータ） (2020-07-28T19:00:40Z)
• Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
  トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。 既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。 そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
  論文  参考訳（メタデータ） (2020-07-16T06:55:00Z)
• An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks [59.42357806777537]
  トロイの木馬攻撃は、ハッカーが挿入した隠れトリガーパターンに依存する、デプロイされたディープニューラルネットワーク(DNN)を攻撃することを目的としている。 そこで本研究では,有毒データセットの再学習モデルによりトロイの木馬の挙動を注入する,従来と異なる学習自由攻撃手法を提案する。 提案したTrojanNetには,(1)小さなトリガパターンによって起動し,他の信号に対してサイレントを維持する,(2)モデルに依存しない,ほとんどのDNNに注入可能な,(3)攻撃シナリオを劇的に拡張する,(3)訓練不要のメカニズムは従来のトロイの木馬攻撃方法と比較して大規模なトレーニング作業の削減など,いくつかの優れた特性がある。
  論文  参考訳（メタデータ） (2020-06-15T04:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。