論文の概要: Pre-trained transformer for adversarial purification
- arxiv url: http://arxiv.org/abs/2306.01762v2
- Date: Wed, 30 Aug 2023 04:53:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 16:51:38.299974
- Title: Pre-trained transformer for adversarial purification
- Title(参考訳): 逆浄化用予習変圧器
- Authors: Kai Wu, Yujian Betterest Li, Xiaoyu Zhang, Handing Wang, Jing Liu
- Abstract要約: ディープ・ニューラル・ネットワークは 脆弱で 敵の攻撃に敏感です
最近の研究は、通常、敵対的な訓練や大量のクリーンデータの知識の活用によって、堅牢性を強化している。
凍結したオリジナルのサービスモデルに対する特定の攻撃に対して迅速に防御する新しいシナリオであるRaPiDを提案する。
- 参考スコア(独自算出の注目度): 16.934643740314808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With more and more deep neural networks being deployed as various daily
services, their reliability is essential. It's frightening that deep neural
networks are vulnerable and sensitive to adversarial attacks, the most common
one of which for the services is evasion-based. Recent works usually strengthen
the robustness by adversarial training or leveraging the knowledge of an amount
of clean data. However, in practical terms, retraining and redeploying the
model need a large computational budget, leading to heavy losses to the online
service. In addition, when adversarial examples of a certain attack are
detected, only limited adversarial examples are available for the service
provider, while much clean data may not be accessible. Given the mentioned
problems, we propose a new scenario, RaPiD (Rapid Plug-in Defender), which is
to rapidly defend against a certain attack for the frozen original service
model with limitations of few clean and adversarial examples. Motivated by the
generalization and the universal computation ability of pre-trained transformer
models, we come up with a new defender method, CeTaD, which stands for
Considering Pre-trained Transformers as Defenders. In particular, we evaluate
the effectiveness and the transferability of CeTaD in the case of one-shot
adversarial examples and explore the impact of different parts of CeTaD as well
as training data conditions. CeTaD is flexible, able to be embedded into an
arbitrary differentiable model, and suitable for various types of attacks.
- Abstract(参考訳): さまざまな日次サービスとしてデプロイされるディープニューラルネットワークがますます多くなっているため、信頼性が不可欠である。
ディープニューラルネットワークが敵の攻撃に対して脆弱で敏感であることは恐ろしいことです。
最近の研究は、通常、敵の訓練や大量のクリーンデータの知識の活用によって堅牢性を強化する。
しかし、実際には、モデルの再訓練と再デプロイには大規模な計算予算が必要であり、オンラインサービスに大きな損失をもたらす。
さらに、ある攻撃の敵例が検出されると、サービスプロバイダには限られた敵例しか利用できないが、多くのクリーンなデータがアクセスできない可能性がある。
上述した問題を踏まえ、凍結した元のサービスモデルに対する特定の攻撃を迅速に防御する新しいシナリオであるRaPiD(Rapid Plug-in Defender)を提案する。
プレトレーニング変圧器モデルの一般化と汎用計算能力に動機づけられ, プレトレーニング変圧器をディフェンダーとして考慮した新しいディフェンダー法cetadを考案した。
特に,CeTaDの1ショット対逆例における有効性と伝達性を評価し,CeTaDの異なる部分の影響とトレーニングデータ条件について検討した。
CeTaDは柔軟性があり、任意の差別化可能なモデルに組み込むことができ、様々な種類の攻撃に適している。
関連論文リスト
- Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳(メタデータ) (2023-08-02T05:54:01Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳(メタデータ) (2022-03-18T01:12:18Z) - Transferring Adversarial Robustness Through Robust Representation
Matching [3.5934248574481717]
アドリアリトレーニングは、ニューラルネットワークに対するこのような攻撃に確実に耐えられる数少ない既知の防御の1つである。
本稿では,ロバスト表現マッチング(RRM, Robust Representation Matching)を提案する。
RRMは、モデル性能と対向訓練時間の両方において優れている。
論文 参考訳(メタデータ) (2022-02-21T05:15:40Z) - $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial
Training [11.241749205970253]
トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。
本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2~3倍高速化する。
論文 参考訳(メタデータ) (2021-12-01T09:55:01Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳(メタデータ) (2021-05-31T17:01:05Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳(メタデータ) (2020-12-22T00:45:24Z) - Improving adversarial robustness of deep neural networks by using
semantic information [17.887586209038968]
対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。
本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。
MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
論文 参考訳(メタデータ) (2020-08-18T10:23:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。