論文の概要: PiDAn: A Coherence Optimization Approach for Backdoor Attack Detection
and Mitigation in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2203.09289v1
- Date: Thu, 17 Mar 2022 12:37:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 15:54:04.129090
- Title: PiDAn: A Coherence Optimization Approach for Backdoor Attack Detection
and Mitigation in Deep Neural Networks
- Title（参考訳）: PiDAn:ディープニューラルネットワークにおけるバックドア攻撃検出と緩和のためのコヒーレンス最適化手法
- Authors: Yue Wang, Wenqing Li, Esha Sarkar, Muhammad Shafique, Michail
Maniatakos, Saif Eddin Jabari
- Abstract要約: バックドア攻撃はディープニューラルネットワーク(DNN)に新たな脅威をもたらす
汚染されたデータを浄化するコヒーレンス最適化に基づくアルゴリズムであるPiDAnを提案する。
当社のPiDAnアルゴリズムは90%以上の感染クラスを検出でき、95%の有毒サンプルを識別できる。
- 参考スコア（独自算出の注目度）: 22.900501880865658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backdoor attacks impose a new threat in Deep Neural Networks (DNNs), where a
backdoor is inserted into the neural network by poisoning the training dataset,
misclassifying inputs that contain the adversary trigger. The major challenge
for defending against these attacks is that only the attacker knows the secret
trigger and the target class. The problem is further exacerbated by the recent
introduction of "Hidden Triggers", where the triggers are carefully fused into
the input, bypassing detection by human inspection and causing backdoor
identification through anomaly detection to fail. To defend against such
imperceptible attacks, in this work we systematically analyze how
representations, i.e., the set of neuron activations for a given DNN when using
the training data as inputs, are affected by backdoor attacks. We propose
PiDAn, an algorithm based on coherence optimization purifying the poisoned
data. Our analysis shows that representations of poisoned data and authentic
data in the target class are still embedded in different linear subspaces,
which implies that they show different coherence with some latent spaces. Based
on this observation, the proposed PiDAn algorithm learns a sample-wise weight
vector to maximize the projected coherence of weighted samples, where we
demonstrate that the learned weight vector has a natural "grouping effect" and
is distinguishable between authentic data and poisoned data. This enables the
systematic detection and mitigation of backdoor attacks. Based on our
theoretical analysis and experimental results, we demonstrate the effectiveness
of PiDAn in defending against backdoor attacks that use different settings of
poisoned samples on GTSRB and ILSVRC2012 datasets. Our PiDAn algorithm can
detect more than 90% infected classes and identify 95% poisoned samples.
- Abstract（参考訳）: バックドア攻撃はDeep Neural Networks(DNN)において新たな脅威となり、トレーニングデータセットを汚染し、敵のトリガーを含む入力を誤分類することで、バックドアをニューラルネットワークに挿入する。
これらの攻撃に対して防御する上で大きな課題は、攻撃者だけが秘密のトリガーとターゲットクラスを知っていることである。
この問題は、最近の"Hidden Triggers"の導入によってさらに悪化し、インプットにトリガーを慎重に融合させ、人間の検査による検出を回避し、異常検出によるバックドア識別を失敗させる。
このような不可避な攻撃から守るため、本研究では、トレーニングデータを入力として使用する場合、所定のdnnのニューロン活性化のセットがどのようにバックドア攻撃の影響を受けるかを体系的に分析する。
本稿では,コヒーレンス最適化に基づく害データ浄化アルゴリズムPiDAnを提案する。
対象クラスにおける有毒データと認証データの表現は, いまだに異なる線形部分空間に埋め込まれており, 潜在空間とのコヒーレンスが異なることを示している。
この観測に基づいて,提案アルゴリズムは,標本量ベクトルを学習して重み付きサンプルの投影されたコヒーレンスを最大化し,学習した重みベクトルが自然な「グループ化効果」を持ち,真性データと有毒データとを区別可能であることを示す。
これにより、バックドア攻撃の体系的な検出と緩和が可能になる。
GTSRBおよびILSVRC2012データセット上の有毒試料の異なる設定を用いたバックドア攻撃に対するPiDAnの有効性を理論的に検証した。
当社のPiDAnアルゴリズムは90%以上の感染クラスを検出でき、95%の有毒サンプルを識別できる。
関連論文リスト
- Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。
動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。
本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
論文 参考訳（メタデータ） (2024-10-16T18:44:22Z) - Robustness-Inspired Defense Against Backdoor Attacks on Graph Neural Networks [30.82433380830665]
グラフニューラルネットワーク(GNN)は,ノード分類やグラフ分類といったタスクにおいて,有望な結果を達成している。
最近の研究で、GNNはバックドア攻撃に弱いことが判明し、実際の採用に重大な脅威をもたらしている。
本研究では,裏口検出にランダムなエッジドロップを用いることにより,汚染ノードとクリーンノードを効率的に識別できることを理論的に示す。
論文 参考訳（メタデータ） (2024-06-14T08:46:26Z) - PSBD: Prediction Shift Uncertainty Unlocks Backdoor Detection [57.571451139201855]
予測シフトバックドア検出(英: Prediction Shift Backdoor Detection、PSBD)は、ディープニューラルネットワークにおけるバックドアサンプルを識別する新しい手法である。
PSBDは興味深い予測シフト(PS)現象によって動機付けられており、クリーンなデータに対する有害なモデルの予測は、しばしば真のラベルから別のラベルへとシフトする。
PSBDは、モデル推論中にドロップアウト層をオン/オフする際の確率値のばらつきである予測シフト不確実性(PSU)を計算することで、バックドアトレーニングサンプルを特定する。
論文 参考訳（メタデータ） (2024-06-09T15:31:00Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳（メタデータ） (2023-05-11T10:05:57Z) - Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。
CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
論文 参考訳（メタデータ） (2023-03-13T02:25:59Z) - FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。
FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
論文 参考訳（メタデータ） (2023-02-28T11:31:29Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳（メタデータ） (2022-11-02T17:05:45Z) - Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
周波数領域に基づく一般化されたバックドア攻撃手法を提案する。
トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。
我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
論文 参考訳（メタデータ） (2022-07-09T07:05:53Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳（メタデータ） (2021-03-24T12:06:40Z) - Mitigating the Impact of Adversarial Attacks in Very Deep Networks [10.555822166916705]
Deep Neural Network (DNN)モデルにはセキュリティに関する脆弱性がある。
データ中毒による摂動攻撃は、モデルに偽データを注入する複雑な敵対攻撃である。
そこで本研究では,攻撃に依存しない防御手法を提案する。
論文 参考訳（メタデータ） (2020-12-08T21:25:44Z) - Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural
Networks [25.23881974235643]
バックドア攻撃は、引き起こされたサンプルの周りでよりスムーズな決定関数を誘導することを示します。
実験の結果,入力サンプルにトリガーを付加するとスムーズさが増加し,この現象はより成功した攻撃に対してより顕著であることがわかった。
論文 参考訳（メタデータ） (2020-06-11T18:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。