論文の概要: Pre-trained transformer for adversarial purification
- arxiv url: http://arxiv.org/abs/2306.01762v3
- Date: Mon, 25 Sep 2023 04:21:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 17:45:57.055489
- Title: Pre-trained transformer for adversarial purification
- Title(参考訳): 逆浄化用予習変圧器
- Authors: Kai Wu, Yujian Betterest Li, Jian Lou, Xiaoyu Zhang, Handing Wang,
Jing Liu
- Abstract要約: ディープニューラルネットワークは敵の攻撃に対して脆弱であり、最も一般的なものは回避ベースである。
最近の研究は、通常、敵対的な訓練や大量のクリーンデータの知識の活用によって、堅牢性を強化している。
我々は、プリトレーニングされたトランスフォーマーをデフェンダとして考慮する新しいディフェンダメソッドであるCeTaDを考案した。
- 参考スコア(独自算出の注目度): 18.434159173557678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With more and more deep neural networks being deployed as various daily
services, their reliability is essential. It is frightening that deep neural
networks are vulnerable and sensitive to adversarial attacks, the most common
one of which for the services is evasion-based. Recent works usually strengthen
the robustness by adversarial training or leveraging the knowledge of an amount
of clean data. However, retraining and redeploying the model need a large
computational budget, leading to heavy losses to the online service. In
addition, when training, it is likely that only limited adversarial examples
are available for the service provider, while much clean data may not be
accessible. Based on the analysis on the defense for deployed models, we find
that how to rapidly defend against a certain attack for a frozen original
service model with limitations of few clean and adversarial examples, which is
named as RaPiD (Rapid Plug-in Defender), is really important. Motivated by the
generalization and the universal computation ability of pre-trained transformer
models, we come up with a new defender method, CeTaD, which stands for
Considering Pretrained Transformers as Defenders. In particular, we evaluate
the effectiveness and the transferability of CeTaD in the case of one-shot
adversarial examples and explore the impact of different parts of CeTaD as well
as training data conditions. CeTaD is flexible for different differentiable
service models, and suitable for various types of attacks.
- Abstract(参考訳): さまざまな日次サービスとしてデプロイされるディープニューラルネットワークがますます多くなっているため、信頼性が不可欠である。
ディープニューラルネットワークが敵の攻撃に対して脆弱で敏感であることは恐ろしいことです。
最近の研究は、通常、敵の訓練や大量のクリーンデータの知識の活用によって堅牢性を強化する。
しかし、モデルの再訓練と再デプロイには膨大な計算予算が必要であるため、オンラインサービスに大きな損失が生じる。
加えて、トレーニングを行う場合、サービスプロバイダには限られた敵例のみが利用可能であり、多くのクリーンなデータがアクセスできない可能性がある。
デプロイされたモデルに対する防御に関する分析から、RaPiD(Rapid Plug-in Defender)という名称のクリーンで敵対的な例がほとんどない、凍結したオリジナルのサービスモデルの特定の攻撃に対して迅速に防御する方法が本当に重要であることが分かります。
プレトレーニング変圧器モデルの一般化と普遍的計算能力に動機づけられ,プリトレーニング変圧器をディフェンダーとして考慮した新しいディフェンダー手法cetadを考案した。
特に,CeTaDの1ショット対逆例における有効性と伝達性を評価し,CeTaDの異なる部分の影響とトレーニングデータ条件について検討した。
CeTaDはさまざまな異なるサービスモデルに柔軟で、さまざまなタイプの攻撃に適しています。
関連論文リスト
- Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳(メタデータ) (2023-08-02T05:54:01Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳(メタデータ) (2022-03-18T01:12:18Z) - Transferring Adversarial Robustness Through Robust Representation
Matching [3.5934248574481717]
アドリアリトレーニングは、ニューラルネットワークに対するこのような攻撃に確実に耐えられる数少ない既知の防御の1つである。
本稿では,ロバスト表現マッチング(RRM, Robust Representation Matching)を提案する。
RRMは、モデル性能と対向訓練時間の両方において優れている。
論文 参考訳(メタデータ) (2022-02-21T05:15:40Z) - $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial
Training [11.241749205970253]
トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。
本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2~3倍高速化する。
論文 参考訳(メタデータ) (2021-12-01T09:55:01Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳(メタデータ) (2021-05-31T17:01:05Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳(メタデータ) (2020-12-22T00:45:24Z) - Improving adversarial robustness of deep neural networks by using
semantic information [17.887586209038968]
対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。
本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。
MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
論文 参考訳(メタデータ) (2020-08-18T10:23:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。