論文の概要: An Overview of Backdoor Attacks Against Deep Neural Networks and
Possible Defences
- arxiv url: http://arxiv.org/abs/2111.08429v1
- Date: Tue, 16 Nov 2021 13:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 22:24:29.622366
- Title: An Overview of Backdoor Attacks Against Deep Neural Networks and
Possible Defences
- Title(参考訳): 深層ニューラルネットワークと防御の可能性に対するバックドア攻撃の概観
- Authors: Wei Guo, Benedetta Tondi, Mauro Barni
- Abstract要約: 本研究の目的は,これまでに提案された攻撃・防衛の多種多様さを概観することである。
バックドア攻撃では、攻撃者はトレーニングデータを破損し、テスト時に誤動作を誘発する。
テストタイムエラーは、適切に作成された入力サンプルに対応するトリガーイベントの存在下でのみ起動される。
- 参考スコア(独自算出の注目度): 33.415612094924654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Together with impressive advances touching every aspect of our society, AI
technology based on Deep Neural Networks (DNN) is bringing increasing security
concerns. While attacks operating at test time have monopolised the initial
attention of researchers, backdoor attacks, exploiting the possibility of
corrupting DNN models by interfering with the training process, represents a
further serious threat undermining the dependability of AI techniques. In a
backdoor attack, the attacker corrupts the training data so to induce an
erroneous behaviour at test time. Test time errors, however, are activated only
in the presence of a triggering event corresponding to a properly crafted input
sample. In this way, the corrupted network continues to work as expected for
regular inputs, and the malicious behaviour occurs only when the attacker
decides to activate the backdoor hidden within the network. In the last few
years, backdoor attacks have been the subject of an intense research activity
focusing on both the development of new classes of attacks, and the proposal of
possible countermeasures. The goal of this overview paper is to review the
works published until now, classifying the different types of attacks and
defences proposed so far. The classification guiding the analysis is based on
the amount of control that the attacker has on the training process, and the
capability of the defender to verify the integrity of the data used for
training, and to monitor the operations of the DNN at training and test time.
As such, the proposed analysis is particularly suited to highlight the
strengths and weaknesses of both attacks and defences with reference to the
application scenarios they are operating in.
- Abstract(参考訳): 社会のあらゆる側面に触れる目覚ましい進歩とともに、ディープニューラルネットワーク(DNN)に基づくAI技術は、セキュリティ上の懸念を増している。
テスト時に実行される攻撃は、研究者の最初の注意を独占する一方で、トレーニングプロセスに干渉することでDNNモデルを破損させる可能性を悪用するバックドア攻撃は、AI技術の信頼性を損なうさらに深刻な脅威となっている。
バックドア攻撃では、攻撃者はトレーニングデータを破損してテスト時に誤動作を誘発する。
しかし、テスト時間誤差は、適切に作成された入力サンプルに対応するトリガーイベントの存在下でのみ活性化される。
このように、破損したネットワークは通常の入力に対して期待通りに動作し続け、攻撃者がネットワーク内に隠されたバックドアをアクティベートした時にのみ悪意のある動作が発生する。
ここ数年、バックドア攻撃は、新たな攻撃のクラスの開発と、可能な対策の提案の両方に焦点を当てた、激しい研究活動の対象となっている。
本総説の目標は,これまで提案されてきた攻撃と防御の類型を分類し,現在まで出版されている作品を精査することである。
分析を導く分類は、アタッカーがトレーニングプロセスで持っている制御量と、トレーニングに使用するデータの完全性を検証するディフェンダーの能力と、トレーニングおよびテスト時のdnnの操作を監視する能力とに基づいて行われる。
したがって,提案する解析は,攻撃と防御の両方の強みと弱みを,運用中のアプリケーションシナリオに照らして強調するために特に適している。
関連論文リスト
- Adversarial Robustness Unhardening via Backdoor Attacks in Federated
Learning [13.12397828096428]
敵のロバストネス・アンハードニング(ARU)は、分散トレーニング中にモデルロバストネスを意図的に損なうために、敵のサブセットによって使用される。
本研究は,ARUの対人訓練への影響と,中毒やバックドア攻撃に対する既存の堅牢な防御効果を評価する実証実験である。
論文 参考訳(メタデータ) (2023-10-17T21:38:41Z) - Backdoor Attacks and Countermeasures in Natural Language Processing Models: A Comprehensive Security Review [15.179940846141873]
サードパーティのデータやモデルを応用することは、NLPにおける言語モデリングの新しいパラダイムとなっている。
バックドア攻撃は 特定のトリガーを通して 予測された行動を示す モデルを誘導できる
セキュリティ上の課題、攻撃者の能力、目的を反映した、体系的で包括的なレビューはまだない。
論文 参考訳(メタデータ) (2023-09-12T08:48:38Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T02:24:46Z) - Check Your Other Door! Establishing Backdoor Attacks in the Frequency
Domain [80.24811082454367]
検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。
また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
論文 参考訳(メタデータ) (2021-09-12T12:44:52Z) - The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
論文 参考訳(メタデータ) (2021-06-26T10:50:07Z) - WaNet -- Imperceptible Warping-based Backdoor Attack [20.289889150949836]
サードパーティーのモデルは、通常の状況でうまく機能するようにトレーニング中に毒を盛るが、トリガーパターンが現れると悪質に振る舞う。
本稿では,サードパーティモデルに対してワーピングベースのトリガーを用いた攻撃手法を提案する。
提案したバックドアは、人間の検査試験における従来の方法よりも広いマージンで優れており、そのステルス性を証明している。
論文 参考訳(メタデータ) (2021-02-20T15:25:36Z) - Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive
Review [40.36824357892676]
この研究は、コミュニティにバックドア攻撃のタイムリーなレビューとディープラーニング対策を提供する。
攻撃者の能力と機械学習パイプラインの影響を受けたステージにより、攻撃面は広く認識される。
対策は、ブラインド・バックドア・インスペクション、オフライン・バックドア・インスペクション、オンライン・バックドア・インスペクション、ポスト・バックドア・インスペクションの4つの一般的なクラスに分類される。
論文 参考訳(メタデータ) (2020-07-21T12:49:12Z) - Backdoor Learning: A Survey [75.59571756777342]
バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む
バックドア学習は、急速に成長する研究分野である。
本稿では,この領域を包括的に調査する。
論文 参考訳(メタデータ) (2020-07-17T04:09:20Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳(メタデータ) (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。