論文の概要: SHIELD: Defending Textual Neural Networks against Multiple Black-Box
Adversarial Attacks with Stochastic Multi-Expert Patcher
- arxiv url: http://arxiv.org/abs/2011.08908v2
- Date: Wed, 16 Mar 2022 05:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 16:21:42.623632
- Title: SHIELD: Defending Textual Neural Networks against Multiple Black-Box
Adversarial Attacks with Stochastic Multi-Expert Patcher
- Title（参考訳）: ShiELD:確率的マルチ専門家による複数のブラックボックス攻撃に対するテキストニューラルネットワークの防御
- Authors: Thai Le, Noseong Park, Dongwon Lee
- Abstract要約: ShiELDはテキストNNの最後の層のみを修正・再トレーニングし、NNを重み付き予測ヘッドのアンサンブルに"パッチ"する。
すべてのCNN、RNN、BERT、RoBERTaベースのテキストNNは、かつてShielDによってパッチされ、14種類のブラックボックス攻撃に対して平均で15%--70%の精度が向上した。
- 参考スコア（独自算出の注目度）: 25.244314785086218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Even though several methods have proposed to defend textual neural network
(NN) models against black-box adversarial attacks, they often defend against a
specific text perturbation strategy and/or require re-training the models from
scratch. This leads to a lack of generalization in practice and redundant
computation. In particular, the state-of-the-art transformer models (e.g.,
BERT, RoBERTa) require great time and computation resources. By borrowing an
idea from software engineering, in order to address these limitations, we
propose a novel algorithm, SHIELD, which modifies and re-trains only the last
layer of a textual NN, and thus it "patches" and "transforms" the NN into a
stochastic weighted ensemble of multi-expert prediction heads. Considering that
most of current black-box attacks rely on iterative search mechanisms to
optimize their adversarial perturbations, SHIELD confuses the attackers by
automatically utilizing different weighted ensembles of predictors depending on
the input. In other words, SHIELD breaks a fundamental assumption of the
attack, which is a victim NN model remains constant during an attack. By
conducting comprehensive experiments, we demonstrate that all of CNN, RNN,
BERT, and RoBERTa-based textual NNs, once patched by SHIELD, exhibit a relative
enhancement of 15%--70% in accuracy on average against 14 different black-box
attacks, outperforming 6 defensive baselines across 3 public datasets. All
codes are to be released.
- Abstract（参考訳）: テキストニューラルネットワーク(NN)モデルをブラックボックスの敵対的攻撃から守る方法がいくつか提案されているが、彼らはしばしば特定のテキスト摂動戦略に対して防御し、あるいはモデルをスクラッチから再訓練する必要がある。
これは、実際的な一般化の欠如と冗長な計算をもたらす。
特に、最先端のトランスフォーマーモデル(BERT、RoBERTaなど)は、優れた時間と計算資源を必要とする。
ソフトウェア工学のアイデアを借用し,これらの制約に対処するために,テキストnnの最後の層のみを修正・再学習し,nnを確率的に重み付けされたマルチ専門家予測ヘッドのアンサンブルに「パッチ」し「変換」する新しいアルゴリズムshieldを提案する。
現在のブラックボックス攻撃のほとんどは、敵の摂動を最適化するための反復探索機構に依存しているため、ShielDは入力に応じて異なる重み付けされた予測器のアンサンブルを自動で利用することで攻撃者を混乱させる。
言い換えれば、ShielDは攻撃の基本的な前提を破り、これは攻撃の間、犠牲者のNNモデルである。
CNN, RNN, BERT, およびRoBERTaベースのテキストNNはすべてShielDにパッチが当てられ、14種類のブラックボックス攻撃に対して平均で15%--70%の精度向上を示し、3つの公開データセットで6つの防御ベースラインを上回った。
すべてのコードはリリースされます。
関連論文リスト
- Adaptive Batch Normalization Networks for Adversarial Robustness [33.14617293166724]
敵防衛訓練(Adversarial Training、AT)は、現代の敵防衛の標準的基盤である。
テスト時間領域適応の最近の進歩に触発された適応バッチ正規化ネットワーク(ABNN)を提案する。
ABNNは、デジタルおよび物理的に実現可能な攻撃に対する敵の堅牢性を一貫して改善する。
論文 参考訳（メタデータ） (2024-05-20T00:58:53Z) - Attacking Byzantine Robust Aggregation in High Dimensions [13.932039723114299]
現代のニューラルネットワークやモデルを訓練するには、通常、高次元ベクトルのサンプルを平均化する必要がある。
ポジショニング攻撃は、モデルをトレーニングするのに使われる平均ベクトルを歪ませたりバイアスしたりし、モデルを特定のパターンを学習させたり、何か役に立つものを学ぶのを防いだりする。
我々は,HIDRAと呼ばれる新たな攻撃が,次元非依存バイアスの主張を覆す強力な防御の実現に有効であることを示す。
論文 参考訳（メタデータ） (2023-12-22T06:25:46Z) - Quantization Aware Attack: Enhancing Transferable Adversarial Attacks by Model Quantization [57.87950229651958]
量子ニューラルネットワーク(QNN)は、異常な一般化性のため、リソース制約のあるシナリオに注目が集まっている。
従来の研究では、ビット幅の異なるQNN間で転送性を実現することは困難であった。
マルチビット学習目的のQNN代替モデルを微調整するテキスト品質認識攻撃(QAA)を提案する。
論文 参考訳（メタデータ） (2023-05-10T03:46:53Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - Defence against adversarial attacks using classical and quantum-enhanced
Boltzmann machines [64.62510681492994]
生成モデルはデータセットの基盤となる分布を学習し、それらは本質的に小さな摂動に対してより堅牢である。
MNISTデータセット上のBoltzmannマシンによる攻撃に対して、5%から72%の改良が見られる。
論文 参考訳（メタデータ） (2020-12-21T19:00:03Z) - A Panda? No, It's a Sloth: Slowdown Attacks on Adaptive Multi-Exit
Neural Network Inference [6.320009081099895]
スローダウン攻撃は、マルチエクイットDNNの有効性を90-100%削減し、典型的なIoTデプロイメントにおいて1.5～5$times$のレイテンシを増幅する。
汎用的で再利用可能な摂動を構築でき、攻撃は現実的なブラックボックスのシナリオで有効であることを示す。
論文 参考訳（メタデータ） (2020-10-06T02:06:52Z) - Improving Query Efficiency of Black-box Adversarial Attack [75.71530208862319]
ニューラルプロセスに基づくブラックボックス対逆攻撃(NP-Attack)を提案する。
NP-Attackはブラックボックス設定でクエリ数を大幅に削減できる。
論文 参考訳（メタデータ） (2020-09-24T06:22:56Z) - Bias-based Universal Adversarial Patch Attack for Automatic Check-out [59.355948824578434]
逆の例は、ディープニューラルネットワーク(DNN)を簡単に誤解させる、知覚不能な摂動を持つ入力である。
既存の戦略は強力な一般化能力を持つ敵パッチを生成できなかった。
本稿では,強い一般化能力を持つクラス非依存の普遍的敵パッチを生成するためのバイアスベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-05-19T07:38:54Z) - Spanning Attack: Reinforce Black-box Attacks with Unlabeled Data [96.92837098305898]
Black-box攻撃は、機械学習モデルのインプット・アウトプットペアをクエリすることで、敵の摂動を発生させることを目的としている。
ブラックボックス攻撃はしばしば、入力空間の高次元性のためにクエリ非効率性の問題に悩まされる。
本研究では,低次元部分空間における逆摂動を,補助的なラベルのないデータセットに分散させることで抑制するスパンニング攻撃と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-05-11T05:57:15Z) - Enhancing Intrinsic Adversarial Robustness via Feature Pyramid Decoder [11.701729403940798]
本稿では,ニューラルネットワークの本質的堅牢性を高めるための攻撃非依存型防御フレームワークを提案する。
私たちのフレームワークは、すべてのブロックベースの畳み込みニューラルネットワーク(CNN)に適用されます。
論文 参考訳（メタデータ） (2020-05-06T01:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。