論文の概要: Black-box Detection of Backdoor Attacks with Limited Information and
Data
- arxiv url: http://arxiv.org/abs/2103.13127v1
- Date: Wed, 24 Mar 2021 12:06:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-25 14:14:23.656435
- Title: Black-box Detection of Backdoor Attacks with Limited Information and
Data
- Title(参考訳): 限られた情報とデータを用いたバックドア攻撃のブラックボックス検出
- Authors: Yinpeng Dong, Xiao Yang, Zhijie Deng, Tianyu Pang, Zihao Xiao, Hang
Su, Jun Zhu
- Abstract要約: モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
- 参考スコア(独自算出の注目度): 56.0735480850555
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Although deep neural networks (DNNs) have made rapid progress in recent
years, they are vulnerable in adversarial environments. A malicious backdoor
could be embedded in a model by poisoning the training dataset, whose intention
is to make the infected model give wrong predictions during inference when the
specific trigger appears. To mitigate the potential threats of backdoor
attacks, various backdoor detection and defense methods have been proposed.
However, the existing techniques usually require the poisoned training data or
access to the white-box model, which is commonly unavailable in practice. In
this paper, we propose a black-box backdoor detection (B3D) method to identify
backdoor attacks with only query access to the model. We introduce a
gradient-free optimization algorithm to reverse-engineer the potential trigger
for each class, which helps to reveal the existence of backdoor attacks. In
addition to backdoor detection, we also propose a simple strategy for reliable
predictions using the identified backdoored models. Extensive experiments on
hundreds of DNN models trained on several datasets corroborate the
effectiveness of our method under the black-box setting against various
backdoor attacks.
- Abstract(参考訳): 近年、ディープニューラルネットワーク(DNN)は急速に進歩しているが、敵の環境では脆弱である。
悪意のあるバックドアは、トレーニングデータセットに毒を盛ることで、モデルに埋め込まれる可能性がある。
バックドア攻撃の潜在的な脅威を軽減するため、様々なバックドア検出と防御方法が提案されている。
しかし、既存の技術は通常、有毒なトレーニングデータやホワイトボックスモデルへのアクセスを必要とするが、実際には利用できない。
本稿では,モデルへのクエリアクセスのみを用いて,バックドア攻撃を特定するブラックボックスバックドア検出(B3D)手法を提案する。
各クラスの潜在的なトリガをリバースエンジニアリングする勾配なし最適化アルゴリズムを導入し,バックドア攻撃の存在を明らかにする。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
複数のデータセットでトレーニングされた数百のDNNモデルに対する大規模な実験は、さまざまなバックドア攻撃に対するブラックボックス設定下での手法の有効性を裏付けるものである。
関連論文リスト
- Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。
本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。
PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
論文 参考訳(メタデータ) (2024-05-25T07:52:26Z) - Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。
CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
論文 参考訳(メタデータ) (2023-03-13T02:25:59Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - BATT: Backdoor Attack with Transformation-based Triggers [72.61840273364311]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアの敵は、敵が特定したトリガーパターンによって活性化される隠れたバックドアを注入する。
最近の研究によると、既存の攻撃のほとんどは現実世界で失敗した。
論文 参考訳(メタデータ) (2022-11-02T16:03:43Z) - Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
周波数領域に基づく一般化されたバックドア攻撃手法を提案する。
トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。
我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
論文 参考訳(メタデータ) (2022-07-09T07:05:53Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T02:24:46Z) - AEVA: Black-box Backdoor Detection Using Adversarial Extreme Value
Analysis [23.184335982913325]
ブラックボックスのハードラベルバックドア検出問題に対処する。
本研究では, バックドア検出の目的は, 逆方向の目的によって拘束されていることを示す。
ブラックボックスニューラルネットワークのバックドア検出のための対向的極値解析を提案する。
論文 参考訳(メタデータ) (2021-10-28T04:36:48Z) - Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition
Systems [0.0]
顔認識システムにおけるブラックボックスバックドア攻撃手法を提案する。
バックドアトリガは極めて効果的であり、攻撃成功率は最大で88%である。
本研究は,既存の顔認識/検証技術のセキュリティ問題に注意を喚起する,新たな物理的バックドア攻撃を明らかにしたことを強調した。
論文 参考訳(メタデータ) (2020-09-15T11:50:29Z) - Backdoor Learning: A Survey [75.59571756777342]
バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む
バックドア学習は、急速に成長する研究分野である。
本稿では,この領域を包括的に調査する。
論文 参考訳(メタデータ) (2020-07-17T04:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。