論文の概要: Efficient Adversarial Training with Robust Early-Bird Tickets

• arxiv url: http://arxiv.org/abs/2211.07263v2
• Date: Tue, 15 Nov 2022 01:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 12:47:33.327604
• Title: Efficient Adversarial Training with Robust Early-Bird Tickets
• Title（参考訳）: ロバスト・アーリーバイド・チケットを用いた効果的な対人訓練
• Authors: Zhiheng Xi, Rui Zheng, Tao Gui, Qi Zhang, Xuanjing Huang
• Abstract要約: パラメータが収束するずっと前に、初期のトレーニングフェーズに堅牢な接続パターンが現れることが分かりました。 この発見にインスパイアされた我々は、効率的な対人訓練方法を開発するために、堅牢な早期バードチケットを掘り下げる。 実験の結果,提案手法は最大7倍の高速化を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 57.72115485770303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training is one of the most powerful methods to improve the robustness of pre-trained language models (PLMs). However, this approach is typically more expensive than traditional fine-tuning because of the necessity to generate adversarial examples via gradient descent. Delving into the optimization process of adversarial training, we find that robust connectivity patterns emerge in the early training phase (typically $0.15\sim0.3$ epochs), far before parameters converge. Inspired by this finding, we dig out robust early-bird tickets (i.e., subnetworks) to develop an efficient adversarial training method: (1) searching for robust tickets with structured sparsity in the early stage; (2) fine-tuning robust tickets in the remaining time. To extract the robust tickets as early as possible, we design a ticket convergence metric to automatically terminate the searching process. Experiments show that the proposed efficient adversarial training method can achieve up to $7\times \sim 13 \times$ training speedups while maintaining comparable or even better robustness compared to the most competitive state-of-the-art adversarial training methods.
• Abstract（参考訳）: 先行訓練言語モデル(PLM)の堅牢性を改善するための最も強力な手法の1つである。 しかし、このアプローチは通常、勾配降下による逆例を生成する必要があるため、従来の微調整よりも高価である。 敵対的トレーニングの最適化プロセスに着目すると、パラメータが収束するずっと前に、初期のトレーニングフェーズ(通常、$0.15\sim0.3$ epochs)に堅牢な接続パターンが出現する。 この発見にインスパイアされた我々は,(1)早期に構造化された空間をもつ堅牢なチケットを探索し,(2)残りの期間に頑健なチケットを微調整する,効率的な対向訓練手法を開発するために,堅牢な早期バードチケット(サブネットワーク)を掘り下げた。 できるだけ早くロバストなチケットを抽出するために,自動で検索を終了するチケット収束指標を設計する。 実験により, 提案手法は, 最も競争力のある対人訓練法と比較して, 同等かそれ以上の堅牢性を保ちながら, 最大7\times \sim 13 \times$トレーニングスピードアップを達成することができることがわかった。

関連論文リスト

• Revisiting and Exploring Efficient Fast Adversarial Training via LAW: Lipschitz Regularization and Auto Weight Averaging [73.78965374696608]
  本研究では,10以上の高速対人訓練法について,対人ロバスト性およびトレーニングコストの観点から検討した。 破滅的オーバーフィッティング防止のための高速対人訓練手法の有効性と有効性を再考する。 リプシッツ正規化とオートウェイト平均化を備えたFGSMに基づく高速対向訓練手法を提案する。
  論文  参考訳（メタデータ） (2023-08-22T13:50:49Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• Boosting Fast Adversarial Training with Learnable Adversarial Initialization [79.90495058040537]
  対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。 トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
  論文  参考訳（メタデータ） (2021-10-11T05:37:00Z)
• Efficient Robust Training via Backward Smoothing [125.91185167854262]
  敵の訓練は敵の例に対抗して最も効果的な戦略である。 トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。 近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
  論文  参考訳（メタデータ） (2020-10-03T04:37:33Z)
• Towards Understanding Fast Adversarial Training [91.8060431517248]
  高速対人訓練の振る舞いを理解するために実験を行う。 その成功の鍵は、過度な適合から弱い攻撃への回復能力である。
  論文  参考訳（メタデータ） (2020-06-04T18:19:43Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。