論文の概要: AccelAT: A Framework for Accelerating the Adversarial Training of Deep
Neural Networks through Accuracy Gradient
- arxiv url: http://arxiv.org/abs/2210.06888v1
- Date: Thu, 13 Oct 2022 10:31:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 14:47:04.250664
- Title: AccelAT: A Framework for Accelerating the Adversarial Training of Deep
Neural Networks through Accuracy Gradient
- Title（参考訳）: AccelAT: 精度勾配によるディープニューラルネットワークの逆トレーニングを高速化するフレームワーク
- Authors: Farzad Nikfam, Alberto Marchisio, Maurizio Martina and Muhammad
Shafique
- Abstract要約: アドリヤトレーニングを利用して、悪意のある変更データに対する堅牢なディープニューラルネットワーク(DNN)モデルを開発する。
本研究の目的は、敵の攻撃に対して堅牢なDNNモデルの迅速な開発を可能にするために、敵の訓練を加速することである。
- 参考スコア（独自算出の注目度）: 12.118084418840152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial training is exploited to develop a robust Deep Neural Network
(DNN) model against the malicious altered data. These attacks may have
catastrophic effects on DNN models but are indistinguishable for a human being.
For example, an external attack can modify an image adding noises invisible for
a human eye, but a DNN model misclassified the image. A key objective for
developing robust DNN models is to use a learning algorithm that is fast but
can also give model that is robust against different types of adversarial
attacks. Especially for adversarial training, enormously long training times
are needed for obtaining high accuracy under many different types of
adversarial samples generated using different adversarial attack techniques.
This paper aims at accelerating the adversarial training to enable fast
development of robust DNN models against adversarial attacks. The general
method for improving the training performance is the hyperparameters
fine-tuning, where the learning rate is one of the most crucial
hyperparameters. By modifying its shape (the value over time) and value during
the training, we can obtain a model robust to adversarial attacks faster than
standard training.
First, we conduct experiments on two different datasets (CIFAR10, CIFAR100),
exploring various techniques. Then, this analysis is leveraged to develop a
novel fast training methodology, AccelAT, which automatically adjusts the
learning rate for different epochs based on the accuracy gradient. The
experiments show comparable results with the related works, and in several
experiments, the adversarial training of DNNs using our AccelAT framework is
conducted up to 2 times faster than the existing techniques. Thus, our findings
boost the speed of adversarial training in an era in which security and
performance are fundamental optimization objectives in DNN-based applications.
- Abstract（参考訳）: 悪意のある変更データに対して堅牢なディープニューラルネットワーク(DNN)モデルを開発するために、敵のトレーニングを利用する。
これらの攻撃はDNNモデルに破滅的な影響を及ぼすかもしれないが、人間には区別できない。
例えば、外部からの攻撃は人間の目に見えないノイズを加えるイメージを修正できるが、DNNモデルはイメージを誤って分類する。
堅牢なDNNモデルを開発する上での重要な目的は、高速な学習アルゴリズムを使用することであるが、異なるタイプの敵攻撃に対して堅牢なモデルを与えることもできる。
対向訓練においては,様々な対向攻撃手法を用いて生成する様々な対向サンプルにおいて,高い精度を得るために非常に長い訓練時間が必要となる。
本稿では,敵の攻撃に対するロバストなdnnモデルの迅速な開発を可能にするために,敵の訓練を加速することを目的とする。
トレーニングパフォーマンスを改善する一般的な方法は、学習速度が最も重要なハイパーパラメータの1つであるハイパーパラメータの微調整である。
トレーニング中の形状(時間的価値)と値を変更することで、標準的なトレーニングよりも高速に敵攻撃に対して堅牢なモデルを得ることができる。
まず、2つの異なるデータセット(CIFAR10, CIFAR100)で実験を行い、様々な手法を探索する。
そして、この分析を利用して、精度勾配に基づいて異なるエポックに対する学習率を自動的に調整する新しい高速トレーニング手法であるAccelATを開発する。
実験の結果は関連する研究と同等の結果を示し、いくつかの実験では、我々のAccelATフレームワークを用いたDNNの対角訓練は、既存の技術に比べて最大2倍高速に実施されている。
そこで本研究では,DNNベースのアプリケーションにおいて,セキュリティと性能が基本的な最適化目標である時代において,敵の訓練の速度を向上する。
関連論文リスト
- MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。
トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。
本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-08T07:40:55Z) - $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial
Training [11.241749205970253]
トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。
本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
論文 参考訳（メタデータ） (2021-12-01T09:55:01Z) - KATANA: Simple Post-Training Robustness Using Test Time Augmentations [49.28906786793494]
このような攻撃に対する先導的な防御は、DNNが敵の攻撃に対して堅牢であるように訓練される技術である敵の訓練である。
そこで本稿では,既存の事前学習型DNNを重みを変更せずに堅牢化する,シンプルで使いやすいKATANA手法を提案する。
我々の戦略は、自然画像の分類に最小限の妥協を伴い、様々な攻撃に対する最先端の敵対的堅牢性を達成する。
論文 参考訳（メタデータ） (2021-09-16T19:16:00Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳（メタデータ） (2021-05-31T17:01:05Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Towards Robust Neural Networks via Orthogonal Diversity [30.77473391842894]
敵の訓練とその変種に代表される一連の手法は、ディープニューラルネットワークの堅牢性を高める最も効果的な手法の1つとして証明されている。
本稿では, 多様な入力に適応する特徴を学習するために, モデルの拡張を目的とした新しい防御手法を提案する。
このようにして、提案したDIOは、これらの相互直交経路によって学習された特徴を補正できるため、モデルを強化し、DNN自体の堅牢性を高める。
論文 参考訳（メタデータ） (2020-10-23T06:40:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。