論文の概要: Blacksmith: Fast Adversarial Training of Vision Transformers via a
Mixture of Single-step and Multi-step Methods
- arxiv url: http://arxiv.org/abs/2310.18975v1
- Date: Sun, 29 Oct 2023 10:48:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 15:00:13.303934
- Title: Blacksmith: Fast Adversarial Training of Vision Transformers via a
Mixture of Single-step and Multi-step Methods
- Title（参考訳）: blacksmith:single-step法とmulti-step法を組み合わせた視覚トランスフォーマーの高速対向訓練
- Authors: Mahdi Salmani, Alireza Dehghanpour Farashah, Mohammad Azizmalayeri,
Mahdi Amiri, Navid Eslami, Mohammad Taghi Manzuri, Mohammad Hossein Rohban
- Abstract要約: 視覚変換器(ViT)における破滅的オーバーフィッティング(CO)問題を克服するための新しいトレーニング戦略を提案する。
本手法では,ニューラルネットの対向トレーニングにおいて,小バッチにおいてPGD-2とFGSMのいずれかをランダムに利用する。
提案手法はCOを効果的に防止し,PGD-2レベルの性能を実現し,既存の技術よりも優れた性能を示す。
- 参考スコア（独自算出の注目度）: 4.649452333875421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the remarkable success achieved by deep learning algorithms in
various domains, such as computer vision, they remain vulnerable to adversarial
perturbations. Adversarial Training (AT) stands out as one of the most
effective solutions to address this issue; however, single-step AT can lead to
Catastrophic Overfitting (CO). This scenario occurs when the adversarially
trained network suddenly loses robustness against multi-step attacks like
Projected Gradient Descent (PGD). Although several approaches have been
proposed to address this problem in Convolutional Neural Networks (CNNs), we
found out that they do not perform well when applied to Vision Transformers
(ViTs). In this paper, we propose Blacksmith, a novel training strategy to
overcome the CO problem, specifically in ViTs. Our approach utilizes either of
PGD-2 or Fast Gradient Sign Method (FGSM) randomly in a mini-batch during the
adversarial training of the neural network. This will increase the diversity of
our training attacks, which could potentially mitigate the CO issue. To manage
the increased training time resulting from this combination, we craft the PGD-2
attack based on only the first half of the layers, while FGSM is applied
end-to-end. Through our experiments, we demonstrate that our novel method
effectively prevents CO, achieves PGD-2 level performance, and outperforms
other existing techniques including N-FGSM, which is the state-of-the-art
method in fast training for CNNs.
- Abstract（参考訳）: コンピュータビジョンなどの様々な領域におけるディープラーニングアルゴリズムによる顕著な成功にもかかわらず、敵の摂動に弱いままである。
敵訓練(AT)はこの問題に対処する最も効果的な解決策の1つであるが、単一段階のATは破滅的オーバーフィッティング(CO)につながる可能性がある。
このシナリオは、敵対的に訓練されたネットワークが突如、プロジェクテッド・グラディエント・Descent (PGD)のようなマルチステップ攻撃に対して堅牢性を失うときに発生する。
畳み込みニューラルネットワーク(CNN)では,この問題に対処するいくつかの手法が提案されているが,視覚変換器(ViT)に適用しても,うまく動作しないことがわかった。
本稿では,特にvitsにおいて,co問題を克服するための新しいトレーニング戦略であるblacksmithを提案する。
本手法は,ニューラルネットワークの学習中にミニバッチ内でランダムにpgd-2またはfast gradient sign method(fgsm)のいずれかを利用する。
これにより、トレーニング攻撃の多様性が高まり、co問題を軽減する可能性がある。
この組み合わせによるトレーニング時間の増加を管理するため,FGSMをエンドツーエンドで適用しながら,第1層のみに基づいてPGD-2攻撃を行う。
実験により,本手法はCOを効果的に防止し,PGD-2レベルの性能を達成し,CNNの高速トレーニングにおける最先端手法であるN-FGSMなどの既存手法よりも優れることを示した。
関連論文リスト
- Graph Transductive Defense: a Two-Stage Defense for Graph Membership Inference Attacks [50.19590901147213]
グラフニューラルネットワーク(GNN)は、さまざまな現実世界のアプリケーションにおいて、強力なグラフ学習機能を提供する。
GNNは、メンバーシップ推論攻撃(MIA)を含む敵攻撃に対して脆弱である
本稿では,グラフトランスダクティブ学習特性に合わせて,グラフトランスダクティブ・ディフェンス(GTD)を提案する。
論文 参考訳（メタデータ） (2024-06-12T06:36:37Z) - Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。
我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
論文 参考訳（メタデータ） (2024-05-02T16:49:25Z) - A Dual Curriculum Learning Framework for Multi-UAV Pursuit-Evasion in Diverse Environments [15.959963737956848]
本稿では,無人機群が障害物のある制限された環境で高速離着陸機を捕獲するために協力するマルチUAV追跡回避について述べる。
追従回避問題を単純化する既存のアルゴリズムは、しばしば表現力のある協調戦略を欠き、極端なシナリオで回避者を捕まえるのに苦労する。
多様な環境下でのマルチUAV追従回避に対処し,未知のシナリオに対するゼロショット転送能力を実証するデュアルカリキュラム学習フレームワークDualCLを導入する。
論文 参考訳（メタデータ） (2023-12-19T15:39:09Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
トレーニングインスタンスの観点から,この現象を考察する。
適応ステップサイズ(ATAS)を用いた逆学習法を提案する。
ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
論文 参考訳（メタデータ） (2022-06-06T08:20:07Z) - KATANA: Simple Post-Training Robustness Using Test Time Augmentations [49.28906786793494]
このような攻撃に対する先導的な防御は、DNNが敵の攻撃に対して堅牢であるように訓練される技術である敵の訓練である。
そこで本稿では,既存の事前学習型DNNを重みを変更せずに堅牢化する,シンプルで使いやすいKATANA手法を提案する。
我々の戦略は、自然画像の分類に最小限の妥協を伴い、様々な攻撃に対する最先端の敵対的堅牢性を達成する。
論文 参考訳（メタデータ） (2021-09-16T19:16:00Z) - Training Generative Adversarial Networks in One Stage [58.983325666852856]
本稿では,1段階のみに効率よくGANを訓練できる汎用的なトレーニング手法を提案する。
提案手法は,データフリーな知識蒸留など,他の逆学習シナリオにも容易に適用可能であることを示す。
論文 参考訳（メタデータ） (2021-02-28T09:03:39Z) - Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。
実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
論文 参考訳（メタデータ） (2021-02-05T19:07:10Z) - Towards Rapid and Robust Adversarial Training with One-Step Attacks [0.0]
敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を高める最も成功した方法である。
本稿では,計算コストの低いFast Gradient Sign Methodを用いて,敵対的学習を可能にする2つのアイデアを提案する。
FGSMをベースとした対向訓練と併用したノイズ注入は、PGDによる対向訓練に匹敵する結果が得られ、より高速であることを示す。
論文 参考訳（メタデータ） (2020-02-24T07:28:43Z) - Improving the affordability of robustness training for DNNs [11.971637253035107]
逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。
提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
論文 参考訳（メタデータ） (2020-02-11T07:29:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。