論文の概要: Universal Pyramid Adversarial Training for Improved ViT Performance
- arxiv url: http://arxiv.org/abs/2312.16339v1
- Date: Tue, 26 Dec 2023 21:26:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 19:48:56.639204
- Title: Universal Pyramid Adversarial Training for Improved ViT Performance
- Title(参考訳): ViT性能向上のためのユニバーサルピラミッド対向訓練
- Authors: Ping-yeh Chiang, Yipin Zhou, Omid Poursaeed, Satya Narayan Shukla,
Ashish Shah, Tom Goldstein, Ser-Nam Lim
- Abstract要約: そこで我々は,データセット全体にわたって共有される単一のピラミッド対逆パターンを,サンプルワイドパターンの代わりに学習するユニバーサルピラミッド対逆トレーニングを提案する。
提案手法により,ピラミッド適応学習の計算コストを最大70%削減すると同時に,クリーンな性能と分散-シフトロバスト性に対する利点の大部分を保ちながら,その計算コストを最大70%削減する。
- 参考スコア(独自算出の注目度): 81.43861330185993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, Pyramid Adversarial training (Herrmann et al., 2022) has been shown
to be very effective for improving clean accuracy and distribution-shift
robustness of vision transformers. However, due to the iterative nature of
adversarial training, the technique is up to 7 times more expensive than
standard training. To make the method more efficient, we propose Universal
Pyramid Adversarial training, where we learn a single pyramid adversarial
pattern shared across the whole dataset instead of the sample-wise patterns.
With our proposed technique, we decrease the computational cost of Pyramid
Adversarial training by up to 70% while retaining the majority of its benefit
on clean performance and distribution-shift robustness. In addition, to the
best of our knowledge, we are also the first to find that universal adversarial
training can be leveraged to improve clean model performance.
- Abstract(参考訳): 近年,視覚トランスフォーマーのクリーンな精度向上と分散シフトロバスト性向上に,ピラミッド・コンバーサルトトレーニング(herrmann et al., 2022)が有効であることが示されている。
しかし、敵対的訓練の反復的な性質から、この技法は標準的な訓練の最大7倍の費用がかかる。
提案手法をより効率的にするために、サンプルワイドパターンの代わりにデータセット全体間で共有される単一のピラミッド対逆パターンを学習するユニバーサルピラミッド対逆トレーニングを提案する。
提案手法により,ピラミッド適応学習の計算コストを最大70%削減し,その大部分はクリーンな性能と分散シフトの堅牢性に寄与する。
さらに、私たちの知る限りでは、ユニバーサルな敵対的トレーニングをクリーンなモデルのパフォーマンス向上に活用できることを最初に知ったのです。
関連論文リスト
- Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳(メタデータ) (2023-10-24T01:36:20Z) - Revisiting and Exploring Efficient Fast Adversarial Training via LAW:
Lipschitz Regularization and Auto Weight Averaging [73.78965374696608]
本研究では,10以上の高速対人訓練法について,対人ロバスト性およびトレーニングコストの観点から検討した。
破滅的オーバーフィッティング防止のための高速対人訓練手法の有効性と有効性を再考する。
リプシッツ正規化とオートウェイト平均化を備えたFGSMに基づく高速対向訓練手法を提案する。
論文 参考訳(メタデータ) (2023-08-22T13:50:49Z) - Efficient Adversarial Training with Robust Early-Bird Tickets [57.72115485770303]
パラメータが収束するずっと前に、初期のトレーニングフェーズに堅牢な接続パターンが現れることが分かりました。
この発見にインスパイアされた我々は、効率的な対人訓練方法を開発するために、堅牢な早期バードチケットを掘り下げる。
実験の結果,提案手法は最大7倍の高速化を達成できることがわかった。
論文 参考訳(メタデータ) (2022-11-14T10:44:25Z) - Adversarial Fine-tune with Dynamically Regulated Adversary [27.034257769448914]
健康診断や自律手術ロボットなどの現実世界の多くの応用において、このような極めて悪意のある攻撃に対するモデルロバスト性よりも、標準的な性能が重視されている。
本研究は, モデル標準性能に対する対向サンプルの負の効果を阻害する, 単純かつ効果的な移動学習に基づく対向学習戦略を提案する。
さらに,トレーニングの複雑さを伴わずに,敵の強靭性を向上する訓練フレンドリーな敵攻撃アルゴリズムを導入する。
論文 参考訳(メタデータ) (2022-04-28T00:07:15Z) - $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial
Training [11.241749205970253]
トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。
本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2~3倍高速化する。
論文 参考訳(メタデータ) (2021-12-01T09:55:01Z) - Efficient Robust Training via Backward Smoothing [125.91185167854262]
敵の訓練は敵の例に対抗して最も効果的な戦略である。
トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。
近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
論文 参考訳(メタデータ) (2020-10-03T04:37:33Z) - Fast is better than free: Revisiting adversarial training [86.11788847990783]
より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。
我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
論文 参考訳(メタデータ) (2020-01-12T20:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。