論文の概要: Improving Fast Adversarial Training with Prior-Guided Knowledge

• arxiv url: http://arxiv.org/abs/2304.00202v1
• Date: Sat, 1 Apr 2023 02:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 19:22:47.630565
• Title: Improving Fast Adversarial Training with Prior-Guided Knowledge
• Title（参考訳）: 先導的知識による高速対人訓練の改善
• Authors: Xiaojun Jia, Yong Zhang, Xingxing Wei, Baoyuan Wu, Ke Ma, Jue Wang, and Xiaochun Cao Sr
• Abstract要約: 本研究では,標準的な対人訓練と高速対人訓練の訓練過程を比較して,対人具体的品質と破滅的オーバーフィッティングの関係について検討した。 その結果,敵対例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。
• 参考スコア（独自算出の注目度）: 34.221852778493634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast adversarial training (FAT) is an efficient method to improve robustness. However, the original FAT suffers from catastrophic overfitting, which dramatically and suddenly reduces robustness after a few training epochs. Although various FAT variants have been proposed to prevent overfitting, they require high training costs. In this paper, we investigate the relationship between adversarial example quality and catastrophic overfitting by comparing the training processes of standard adversarial training and FAT. We find that catastrophic overfitting occurs when the attack success rate of adversarial examples becomes worse. Based on this observation, we propose a positive prior-guided adversarial initialization to prevent overfitting by improving adversarial example quality without extra training costs. This initialization is generated by using high-quality adversarial perturbations from the historical training process. We provide theoretical analysis for the proposed initialization and propose a prior-guided regularization method that boosts the smoothness of the loss function. Additionally, we design a prior-guided ensemble FAT method that averages the different model weights of historical models using different decay rates. Our proposed method, called FGSM-PGK, assembles the prior-guided knowledge, i.e., the prior-guided initialization and model weights, acquired during the historical training process. Evaluations of four datasets demonstrate the superiority of the proposed method.
• Abstract（参考訳）: 高速対人訓練(FAT)は、堅牢性を改善するための効率的な方法である。 しかし、オリジナルのFATは破滅的なオーバーフィッティングに悩まされ、数回の訓練の後に劇的に、突然頑丈さを低下させる。 オーバーフィッティングを防ぐために様々なFAT型が提案されているが、訓練コストが高い。 本稿では,標準的な対人訓練のトレーニングプロセスとFATを比較し,対人的事例品質と破滅的オーバーフィッティングの関係について検討する。 敵例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。 そこで本研究では, 学習コストを増すことなく, 実例の質を向上し, 過剰フィッティングを防止するために, 事前指示による正の逆初期化を提案する。 この初期化は、歴史学習過程からの高品質な逆転摂動を用いて生成される。 提案した初期化の理論解析を行い,損失関数の滑らかさを高める事前誘導正規化法を提案する。 さらに、異なる減衰率を用いて、過去のモデルの異なるモデル重みを平均化する事前誘導型アンサンブルFAT法を設計する。 提案手法はFGSM-PGKと呼ばれ,過去の訓練過程において得られた事前指導知識,すなわち事前指導初期化とモデル重み付けを組み立てる。 提案手法の優位性を示す4つのデータセットの評価を行った。

関連論文リスト

• Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective [61.38753850236804]
  高速対人訓練 (FAT) は, 効率的な訓練を行うために提案され, 熱い研究課題となっている。 FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 本稿では, FATにおける内的最適化と外的最適化のバランスが不均衡であることから, 破滅的なオーバーフィッティングが原因であることが確認された FAT の分類例を示す。
  論文  参考訳（メタデータ） (2024-07-22T03:56:27Z)
• Preventing Catastrophic Overfitting in Fast Adversarial Training: A Bi-level Optimization Perspective [20.99874786089634]
  対人訓練(AT)は、敵例(AE)に対する効果的な防御方法となっている。 Fast AT (FAT) はトレーニングプロセスのガイドに単一ステップの攻撃戦略を採用している。 FAT法は破滅的なオーバーフィッティング問題に悩まされる。
  論文  参考訳（メタデータ） (2024-07-17T09:53:20Z)
• Fast Adversarial Training with Smooth Convergence [51.996943482875366]
  我々は,FAT(Fast Adversarial Training)作業のトレーニングプロセスを分析し,破滅的なオーバーフィッティングが損失収束アウトリーの出現に伴うことを観察した。 円滑な損失収束過程を実現するために,隣接するエポック間の損失差を制限する新しい振動制約(Dubed ConvergeSmooth)を提案する。 提案手法は攻撃非依存であり,様々なFAT技術の訓練安定性を向上させることができる。
  論文  参考訳（メタデータ） (2023-08-24T15:28:52Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Prior-Guided Adversarial Initialization for Fast Adversarial Training [84.56377396106447]
  本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
  論文  参考訳（メタデータ） (2022-07-18T18:13:10Z)
• Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
  本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。 実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
  論文  参考訳（メタデータ） (2021-02-05T19:07:10Z)
• Efficient Robust Training via Backward Smoothing [125.91185167854262]
  敵の訓練は敵の例に対抗して最も効果的な戦略である。 トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。 近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
  論文  参考訳（メタデータ） (2020-10-03T04:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。