論文の概要: Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective

• arxiv url: http://arxiv.org/abs/2408.03944v2
• Date: Thu, 26 Sep 2024 07:47:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 12:22:45.657386
• Title: Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective
• Title（参考訳）: 逆行訓練パラダイムの高速化 : 分類学の例
• Authors: Jie Gui, Chengze Jiang, Minjing Dong, Kun Tong, Xinli Shi, Yuan Yan Tang, Dacheng Tao,
• Abstract要約: 高速対人訓練 (FAT) は, 効率的な訓練を行うために提案され, 熱い研究課題となっている。 FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 本稿では, FATにおける内的最適化と外的最適化のバランスが不均衡であることから, 破滅的なオーバーフィッティングが原因であることが確認された FAT の分類例を示す。
• 参考スコア（独自算出の注目度）: 61.38753850236804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While adversarial training is an effective defense method against adversarial attacks, it notably increases the training cost. To this end, fast adversarial training (FAT) is presented for efficient training and has become a hot research topic. However, FAT suffers from catastrophic overfitting, which leads to a performance drop compared with multi-step adversarial training. However, the cause of catastrophic overfitting remains unclear and lacks exploration. In this paper, we present an example taxonomy in FAT, which identifies that catastrophic overfitting is caused by the imbalance between the inner and outer optimization in FAT. Furthermore, we investigated the impact of varying degrees of training loss, revealing a correlation between training loss and catastrophic overfitting. Based on these observations, we redesign the loss function in FAT with the proposed dynamic label relaxation to concentrate the loss range and reduce the impact of misclassified examples. Meanwhile, we introduce batch momentum initialization to enhance the diversity to prevent catastrophic overfitting in an efficient manner. Furthermore, we also propose Catastrophic Overfitting aware Loss Adaptation (COLA), which employs a separate training strategy for examples based on their loss degree. Our proposed method, named example taxonomy aware FAT (ETA), establishes an improved paradigm for FAT. Experiment results demonstrate our ETA achieves state-of-the-art performance. Comprehensive experiments on four standard datasets demonstrate the competitiveness of our proposed method.
• Abstract（参考訳）: 対人訓練は対人攻撃に対する効果的な防御方法であるが、特に訓練コストを増大させる。 この目的のために、高速対人訓練(FAT)が効率的な訓練のために提示され、熱い研究トピックとなっている。 しかし、FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 しかし、破滅的なオーバーフィッティングの原因はいまだ不明であり、探索に欠ける。 本稿では,FATにおける内的最適化と外的最適化の不均衡に起因する破滅的なオーバーフィッティングが原因であることを示す,FATの分類例を示す。 さらに, トレーニング損失の程度の違いによる影響について検討し, トレーニング損失と破滅的オーバーフィッティングの相関について検討した。 これらの観測に基づいて, FATにおける損失関数を動的ラベル緩和により再設計し, 損失範囲を集中させ, 誤分類例の影響を低減する。 一方,破滅的なオーバーフィッティングを効果的に防止するために,多様性を高めるためにバッチモーメントの初期化を導入する。 さらに,損失度に基づく個別のトレーニング戦略を取り入れたCOLA(Catastrophic Overfitting aware Loss Adaptation)を提案する。 提案手法は, FAT (tathonomy aware FAT) を例に, FATの改良パラダイムを確立した。 実験の結果,私たちのETAは最先端のパフォーマンスを達成できた。 4つの標準データセットに関する総合実験により,提案手法の競争力を実証した。

関連論文リスト

• Improving Fast Adversarial Training via Self-Knowledge Guidance [30.299641184202972]
  高速対人訓練(FAT)における不均衡問題を包括的に研究する。 我々は、そのパフォーマンスに関する明らかな階級格差を観察する。 この格差は、クリーンとロバストな精度の整合性の観点から具現化することができる。
  論文  参考訳（メタデータ） (2024-09-26T07:12:04Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Fast Adversarial Training with Smooth Convergence [51.996943482875366]
  我々は,FAT(Fast Adversarial Training)作業のトレーニングプロセスを分析し,破滅的なオーバーフィッティングが損失収束アウトリーの出現に伴うことを観察した。 円滑な損失収束過程を実現するために,隣接するエポック間の損失差を制限する新しい振動制約(Dubed ConvergeSmooth)を提案する。 提案手法は攻撃非依存であり,様々なFAT技術の訓練安定性を向上させることができる。
  論文  参考訳（メタデータ） (2023-08-24T15:28:52Z)
• Vulnerability-Aware Instance Reweighting For Adversarial Training [4.874780144224057]
  対人訓練(AT)は、対人攻撃に対する深層学習分類器の堅牢性を大幅に向上させることが知られている。 ATはトレーニングセットの異なるクラスに不均一な影響を及ぼし、本質的に分類するのが難しいクラスに対応する例を不公平に傷つけます。 トレーニングセットにおける個々の例のロバストな損失に不等重みを割り当てる様々な再重み付けスキームが提案されている。 そこで本研究では,各自然事例の脆弱性と,敵攻撃時に発生する敵に対する情報損失について考察する。
  論文  参考訳（メタデータ） (2023-07-14T05:31:32Z)
• Improving Fast Adversarial Training with Prior-Guided Knowledge [80.52575209189365]
  本研究では,標準的な対人訓練と高速対人訓練の訓練過程を比較して,対人具体的品質と破滅的オーバーフィッティングの関係について検討した。 その結果,敵対例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。
  論文  参考訳（メタデータ） (2023-04-01T02:18:12Z)
• Prior-Guided Adversarial Initialization for Fast Adversarial Training [84.56377396106447]
  本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
  論文  参考訳（メタデータ） (2022-07-18T18:13:10Z)
• Adversarial Weight Perturbation Helps Robust Generalization [65.68598525492666]
  敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善する最も有望な方法である。 本研究は, 対人訓練において, 広く使用されている減量景観(重量に対する空間変化)が果たす効果を示す。 本稿では, 重量減少景観の平坦性を明確に調整するための, 単純かつ効果的な対向重み摂動(AWP)を提案する。
  論文  参考訳（メタデータ） (2020-04-13T12:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。