論文の概要: Preventing Catastrophic Overfitting in Fast Adversarial Training: A Bi-level Optimization Perspective

• arxiv url: http://arxiv.org/abs/2407.12443v1
• Date: Wed, 17 Jul 2024 09:53:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 17:37:53.489799
• Title: Preventing Catastrophic Overfitting in Fast Adversarial Training: A Bi-level Optimization Perspective
• Title（参考訳）: 高速対人訓練における破滅的オーバーフィッティングの防止:二段階最適化の視点から
• Authors: Zhaoxin Wang, Handing Wang, Cong Tian, Yaochu Jin,
• Abstract要約: 対人訓練(AT)は、敵例(AE)に対する効果的な防御方法となっている。 Fast AT (FAT) はトレーニングプロセスのガイドに単一ステップの攻撃戦略を採用している。 FAT法は破滅的なオーバーフィッティング問題に悩まされる。
• 参考スコア（独自算出の注目度）: 20.99874786089634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) has become an effective defense method against adversarial examples (AEs) and it is typically framed as a bi-level optimization problem. Among various AT methods, fast AT (FAT), which employs a single-step attack strategy to guide the training process, can achieve good robustness against adversarial attacks at a low cost. However, FAT methods suffer from the catastrophic overfitting problem, especially on complex tasks or with large-parameter models. In this work, we propose a FAT method termed FGSM-PCO, which mitigates catastrophic overfitting by averting the collapse of the inner optimization problem in the bi-level optimization process. FGSM-PCO generates current-stage AEs from the historical AEs and incorporates them into the training process using an adaptive mechanism. This mechanism determines an appropriate fusion ratio according to the performance of the AEs on the training model. Coupled with a loss function tailored to the training framework, FGSM-PCO can alleviate catastrophic overfitting and help the recovery of an overfitted model to effective training. We evaluate our algorithm across three models and three datasets to validate its effectiveness. Comparative empirical studies against other FAT algorithms demonstrate that our proposed method effectively addresses unresolved overfitting issues in existing algorithms.
• Abstract（参考訳）: 対戦訓練(AT)は、敵の例(AE)に対する効果的な防御方法となり、通常は二段階最適化問題として扱われる。 様々なAT手法の中で、訓練プロセスの指導に一段攻撃戦略を用いる高速AT(FAT)は、低コストで敵攻撃に対して良好な堅牢性を実現することができる。 しかし、FAT法は、特に複雑なタスクや大規模パラメーターモデルにおいて、破滅的なオーバーフィッティング問題に悩まされる。 本研究では,FGSM-PCOと呼ばれるFAT法を提案し,二段階最適化プロセスにおける内部最適化問題の崩壊を回避し,破滅的なオーバーフィッティングを緩和する。 FGSM-PCOは、過去のAEから現在段階のAEを生成し、適応機構を用いてトレーニングプロセスに組み込む。 この機構は、トレーニングモデル上でのAEの性能に応じて適切な融合比を決定する。 トレーニングフレームワークに合わせた損失関数と組み合わせることで、FGSM-PCOは破滅的なオーバーフィッティングを軽減し、過剰フィッティングモデルの回復を効果的に行うことができる。 3つのモデルと3つのデータセットにまたがってアルゴリズムを評価し,その有効性を検証した。 他のFATアルゴリズムとの比較実験により,提案手法は既存アルゴリズムの未解決オーバーフィッティング問題に効果的に対処できることを示した。

関連論文リスト

• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
  そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。 提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
  論文  参考訳（メタデータ） (2023-09-18T03:55:41Z)
• Improving Fast Adversarial Training with Prior-Guided Knowledge [80.52575209189365]
  本研究では,標準的な対人訓練と高速対人訓練の訓練過程を比較して,対人具体的品質と破滅的オーバーフィッティングの関係について検討した。 その結果,敵対例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。
  論文  参考訳（メタデータ） (2023-04-01T02:18:12Z)
• Prior-Guided Adversarial Initialization for Fast Adversarial Training [84.56377396106447]
  本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
  論文  参考訳（メタデータ） (2022-07-18T18:13:10Z)
• Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization [60.72410937614299]
  提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
  論文  参考訳（メタデータ） (2021-12-23T06:25:36Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。