論文の概要: TEN-GUARD: Tensor Decomposition for Backdoor Attack Detection in Deep
Neural Networks
- arxiv url: http://arxiv.org/abs/2401.05432v1
- Date: Sat, 6 Jan 2024 03:08:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 08:24:00.962349
- Title: TEN-GUARD: Tensor Decomposition for Backdoor Attack Detection in Deep
Neural Networks
- Title(参考訳): 深層ニューラルネットワークにおけるバックドアアタック検出のためのテンソル分解
- Authors: Khondoker Murad Hossain, Tim Oates
- Abstract要約: 本稿では,ネットワークアクティベーションに適用した2つのテンソル分解法によるバックドア検出手法を提案する。
これは、複数のモデルを同時に分析する機能など、既存の検出方法と比較して、多くの利点がある。
その結果,現在の最先端手法よりも,バックドアネットワークを高精度かつ効率的に検出できることがわかった。
- 参考スコア(独自算出の注目度): 3.489779105594534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As deep neural networks and the datasets used to train them get larger, the
default approach to integrating them into research and commercial projects is
to download a pre-trained model and fine tune it. But these models can have
uncertain provenance, opening up the possibility that they embed hidden
malicious behavior such as trojans or backdoors, where small changes to an
input (triggers) can cause the model to produce incorrect outputs (e.g., to
misclassify). This paper introduces a novel approach to backdoor detection that
uses two tensor decomposition methods applied to network activations. This has
a number of advantages relative to existing detection methods, including the
ability to analyze multiple models at the same time, working across a wide
variety of network architectures, making no assumptions about the nature of
triggers used to alter network behavior, and being computationally efficient.
We provide a detailed description of the detection pipeline along with results
on models trained on the MNIST digit dataset, CIFAR-10 dataset, and two
difficult datasets from NIST's TrojAI competition. These results show that our
method detects backdoored networks more accurately and efficiently than current
state-of-the-art methods.
- Abstract(参考訳): ディープニューラルネットワークとトレーニングに使用されるデータセットが大きくなるにつれて、研究や商業プロジェクトに統合するためのデフォルトのアプローチは、事前トレーニングされたモデルをダウンロードして微調整することだ。
しかし、これらのモデルには不確実性があり、トロイの木馬やバックドアのような隠れた悪意のある振る舞いを埋め込む可能性があり、入力(トリガー)に小さな変更を加えると、モデルが誤った出力(例えば、誤分類)を発生させる可能性がある。
本稿では,2つのテンソル分解法をネットワークアクティベーションに適用したバックドア検出手法を提案する。
これには、複数のモデルを同時に分析する機能、さまざまなネットワークアーキテクチャを横断する機能、ネットワークの振る舞いを変えるのに使用されるトリガーの性質に関する仮定、計算効率の向上など、既存の検出方法と比較して多くの利点がある。
我々は、MNIST桁データセット、CIFAR-10データセット、NISTのTrojAIコンペティションの2つの難しいデータセットでトレーニングされたモデルと合わせて、検出パイプラインの詳細な説明を提供する。
これらの結果は,現在の最先端手法よりも,バックドアネットワークを高精度かつ効率的に検出できることを示す。
関連論文リスト
- Advancing Security in AI Systems: A Novel Approach to Detecting
Backdoors in Deep Neural Networks [3.489779105594534]
バックドアは、ディープニューラルネットワーク(DNN)上の悪意あるアクターと、データ処理のためのクラウドサービスによって悪用される。
提案手法は高度テンソル分解アルゴリズムを利用して,事前学習したDNNの重みを慎重に解析し,バックドアモデルとクリーンモデルとの区別を行う。
この進歩は、ネットワークシステムにおけるディープラーニングとAIのセキュリティを強化し、新興技術の脅威の進化に対して不可欠なサイバーセキュリティを提供する。
論文 参考訳(メタデータ) (2024-03-13T03:10:11Z) - Backdoor Attack Detection in Computer Vision by Applying Matrix
Factorization on the Weights of Deep Networks [6.44397009982949]
本稿では,事前訓練したDNNの重みから特徴を抽出するバックドア検出手法を提案する。
他の検出技術と比較して、これはトレーニングデータを必要としないなど、多くのメリットがある。
提案手法は, 競合するアルゴリズムよりも効率性が高く, より正確であり, 深層学習とAIの安全な適用を確実にするのに役立つ。
論文 参考訳(メタデータ) (2022-12-15T20:20:18Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Model2Detector:Widening the Information Bottleneck for
Out-of-Distribution Detection using a Handful of Gradient Steps [12.263417500077383]
アウト・オブ・ディストリビューション検出は、長いバニラニューラルネットワークを持つ重要な機能である。
推論時間外分布検出の最近の進歩は、これらの問題のいくつかを緩和するのに役立つ。
提案手法は,一般的な画像データセットにおける検出精度において,常に最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-22T23:03:40Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。
本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。
本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
論文 参考訳(メタデータ) (2020-07-28T19:00:40Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳(メタデータ) (2020-06-10T04:12:53Z) - Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。
実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。
以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文 参考訳(メタデータ) (2020-04-30T19:12:50Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。