Fugu-MT 論文翻訳(概要): Pre-trained transformer for adversarial purification

論文の概要: Pre-trained transformer for adversarial purification

arxiv url: http://arxiv.org/abs/2306.01762v3
Date: Mon, 25 Sep 2023 04:21:57 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 17:45:57.055489
Title: Pre-trained transformer for adversarial purification
Title（参考訳）: 逆浄化用予習変圧器
Authors: Kai Wu, Yujian Betterest Li, Jian Lou, Xiaoyu Zhang, Handing Wang, Jing Liu
Abstract要約: ディープニューラルネットワークは敵の攻撃に対して脆弱であり、最も一般的なものは回避ベースである。最近の研究は、通常、敵対的な訓練や大量のクリーンデータの知識の活用によって、堅牢性を強化している。我々は、プリトレーニングされたトランスフォーマーをデフェンダとして考慮する新しいディフェンダメソッドであるCeTaDを考案した。
参考スコア（独自算出の注目度）: 18.434159173557678
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With more and more deep neural networks being deployed as various daily services, their reliability is essential. It is frightening that deep neural networks are vulnerable and sensitive to adversarial attacks, the most common one of which for the services is evasion-based. Recent works usually strengthen the robustness by adversarial training or leveraging the knowledge of an amount of clean data. However, retraining and redeploying the model need a large computational budget, leading to heavy losses to the online service. In addition, when training, it is likely that only limited adversarial examples are available for the service provider, while much clean data may not be accessible. Based on the analysis on the defense for deployed models, we find that how to rapidly defend against a certain attack for a frozen original service model with limitations of few clean and adversarial examples, which is named as RaPiD (Rapid Plug-in Defender), is really important. Motivated by the generalization and the universal computation ability of pre-trained transformer models, we come up with a new defender method, CeTaD, which stands for Considering Pretrained Transformers as Defenders. In particular, we evaluate the effectiveness and the transferability of CeTaD in the case of one-shot adversarial examples and explore the impact of different parts of CeTaD as well as training data conditions. CeTaD is flexible for different differentiable service models, and suitable for various types of attacks.
Abstract（参考訳）: さまざまな日次サービスとしてデプロイされるディープニューラルネットワークがますます多くなっているため、信頼性が不可欠である。ディープニューラルネットワークが敵の攻撃に対して脆弱で敏感であることは恐ろしいことです。最近の研究は、通常、敵の訓練や大量のクリーンデータの知識の活用によって堅牢性を強化する。しかし、モデルの再訓練と再デプロイには膨大な計算予算が必要であるため、オンラインサービスに大きな損失が生じる。加えて、トレーニングを行う場合、サービスプロバイダには限られた敵例のみが利用可能であり、多くのクリーンなデータがアクセスできない可能性がある。デプロイされたモデルに対する防御に関する分析から、RaPiD(Rapid Plug-in Defender)という名称のクリーンで敵対的な例がほとんどない、凍結したオリジナルのサービスモデルの特定の攻撃に対して迅速に防御する方法が本当に重要であることが分かります。プレトレーニング変圧器モデルの一般化と普遍的計算能力に動機づけられ,プリトレーニング変圧器をディフェンダーとして考慮した新しいディフェンダー手法cetadを考案した。特に,CeTaDの1ショット対逆例における有効性と伝達性を評価し,CeTaDの異なる部分の影響とトレーニングデータ条件について検討した。 CeTaDはさまざまな異なるサービスモデルに柔軟で、さまざまなタイプの攻撃に適しています。

関連論文リスト

Protecting Feed-Forward Networks from Adversarial Attacks Using Predictive Coding [0.20718016474717196]
逆の例は、機械学習(ML)モデルが誤りを犯すように設計された、修正された入力イメージである。本研究では,敵防衛のための補助的なステップとして,予測符号化ネットワーク(PCnet)を用いた実用的で効果的な手法を提案する。
論文参考訳（メタデータ） (2024-10-31T21:38:05Z)
The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。 FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
論文参考訳（メタデータ） (2024-02-18T23:14:40Z)
Robust Feature Inference: A Test-time Defense Strategy using Spectral Projections [12.807619042576018]
我々はロバスト特徴推論(RFI)と呼ばれる新しいテスト時間防衛戦略を提案する。 RFIは、追加のテスト時間計算なしで既存の(ロバストな)トレーニング手順と簡単に統合できる。 RFIは、適応攻撃や転送攻撃によるロバスト性を継続的に改善することを示す。
論文参考訳（メタデータ） (2023-07-21T16:18:58Z)
Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文参考訳（メタデータ） (2023-06-06T11:44:42Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文参考訳（メタデータ） (2022-03-25T19:57:19Z)
Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文参考訳（メタデータ） (2022-03-18T01:12:18Z)
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文参考訳（メタデータ） (2021-10-13T13:54:24Z)
Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文参考訳（メタデータ） (2021-05-31T17:01:05Z)
Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文参考訳（メタデータ） (2020-12-22T00:45:24Z)
Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
論文参考訳（メタデータ） (2020-08-18T10:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。