論文の概要: Taxonomy Driven Fast Adversarial Training

• arxiv url: http://arxiv.org/abs/2408.03944v1
• Date: Mon, 22 Jul 2024 03:56:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 04:39:15.172617
• Title: Taxonomy Driven Fast Adversarial Training
• Title（参考訳）: 分類学を駆使した高速対人訓練
• Authors: Kun Tong, Chengze Jiang, Jie Gui, Yuan Cao,
• Abstract要約: 逆行訓練(AT)は、ニューラルネットワークの堅牢性を高めるために、勾配に基づく攻撃に対する効果的な防御方法である。 ここでは、敵対例の分類がCOの真理を明らかにするという驚くべき発見を提示する。 本稿では,ニューラルネットワークの堅牢性を向上し,誤分類例の影響を緩和し,トレーニング過程におけるCOの防止を可能にする,シングルステップATの新たなパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 15.027947915429783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) is an effective defense method against gradient-based attacks to enhance the robustness of neural networks. Among them, single-step AT has emerged as a hotspot topic due to its simplicity and efficiency, requiring only one gradient propagation in generating adversarial examples. Nonetheless, the problem of catastrophic overfitting (CO) that causes training collapse remains poorly understood, and there exists a gap between the robust accuracy achieved through single- and multi-step AT. In this paper, we present a surprising finding that the taxonomy of adversarial examples reveals the truth of CO. Based on this conclusion, we propose taxonomy driven fast adversarial training (TDAT) which jointly optimizes learning objective, loss function, and initialization method, thereby can be regarded as a new paradigm of single-step AT. Compared with other fast AT methods, TDAT can boost the robustness of neural networks, alleviate the influence of misclassified examples, and prevent CO during the training process while requiring almost no additional computational and memory resources. Our method achieves robust accuracy improvement of $1.59\%$, $1.62\%$, $0.71\%$, and $1.26\%$ on CIFAR-10, CIFAR-100, Tiny ImageNet, and ImageNet-100 datasets, when against projected gradient descent PGD10 attack with perturbation budget 8/255. Furthermore, our proposed method also achieves state-of-the-art robust accuracy against other attacks. Code is available at https://github.com/bookman233/TDAT.
• Abstract（参考訳）: 逆行訓練(AT)は、ニューラルネットワークの堅牢性を高めるために、勾配に基づく攻撃に対する効果的な防御方法である。 その中で、単段階ATはその単純さと効率性からホットスポットのトピックとして現れており、敵の例を生成する際には1つの勾配伝播しか必要としない。 それにもかかわらず、トレーニング崩壊を引き起こす破滅的オーバーフィッティング(CO)の問題はまだ理解されておらず、シングルステップATとマルチステップATで達成される堅牢な精度の間にはギャップがある。 本稿では,敵対例の分類がCOの真理を明らかにするという驚くべき発見を提示する。 そこで本研究では,学習目標,損失関数,初期化方法を共同で最適化した分類学習型高速対人訓練(TDAT)を提案する。 他の高速AT手法と比較して、TDATはニューラルネットワークの堅牢性を高め、誤分類された例の影響を緩和し、トレーニングプロセス中のCOを防止し、計算やメモリリソースをほとんど必要としない。 CIFAR-10, CIFAR-100, Tiny ImageNet, ImageNet-100データセットでは, 乱れ予算8/255のPGD10攻撃に対して1.59\%$, $1.62\%$, $0.71\%$, $1.26\%$の堅牢な精度向上を実現している。 さらに,提案手法は,他の攻撃に対する最先端の精度も向上する。 コードはhttps://github.com/bookman233/TDATで入手できる。

関連論文リスト

• Improving Fast Adversarial Training via Self-Knowledge Guidance [30.299641184202972]
  高速対人訓練(FAT)における不均衡問題を包括的に研究する。 我々は、そのパフォーマンスに関する明らかな階級格差を観察する。 この格差は、クリーンとロバストな精度の整合性の観点から具現化することができる。
  論文  参考訳（メタデータ） (2024-09-26T07:12:04Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Fast Adversarial Training with Smooth Convergence [51.996943482875366]
  我々は,FAT(Fast Adversarial Training)作業のトレーニングプロセスを分析し,破滅的なオーバーフィッティングが損失収束アウトリーの出現に伴うことを観察した。 円滑な損失収束過程を実現するために,隣接するエポック間の損失差を制限する新しい振動制約(Dubed ConvergeSmooth)を提案する。 提案手法は攻撃非依存であり,様々なFAT技術の訓練安定性を向上させることができる。
  論文  参考訳（メタデータ） (2023-08-24T15:28:52Z)
• Vulnerability-Aware Instance Reweighting For Adversarial Training [4.874780144224057]
  対人訓練(AT)は、対人攻撃に対する深層学習分類器の堅牢性を大幅に向上させることが知られている。 ATはトレーニングセットの異なるクラスに不均一な影響を及ぼし、本質的に分類するのが難しいクラスに対応する例を不公平に傷つけます。 トレーニングセットにおける個々の例のロバストな損失に不等重みを割り当てる様々な再重み付けスキームが提案されている。 そこで本研究では,各自然事例の脆弱性と,敵攻撃時に発生する敵に対する情報損失について考察する。
  論文  参考訳（メタデータ） (2023-07-14T05:31:32Z)
• Improving Fast Adversarial Training with Prior-Guided Knowledge [80.52575209189365]
  本研究では,標準的な対人訓練と高速対人訓練の訓練過程を比較して,対人具体的品質と破滅的オーバーフィッティングの関係について検討した。 その結果,敵対例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。
  論文  参考訳（メタデータ） (2023-04-01T02:18:12Z)
• Prior-Guided Adversarial Initialization for Fast Adversarial Training [84.56377396106447]
  本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
  論文  参考訳（メタデータ） (2022-07-18T18:13:10Z)
• Adversarial Weight Perturbation Helps Robust Generalization [65.68598525492666]
  敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善する最も有望な方法である。 本研究は, 対人訓練において, 広く使用されている減量景観(重量に対する空間変化)が果たす効果を示す。 本稿では, 重量減少景観の平坦性を明確に調整するための, 単純かつ効果的な対向重み摂動(AWP)を提案する。
  論文  参考訳（メタデータ） (2020-04-13T12:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。