論文の概要: Improving Fast Adversarial Training via Self-Knowledge Guidance

• arxiv url: http://arxiv.org/abs/2409.17589v1
• Date: Thu, 26 Sep 2024 07:12:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 22:46:14.691457
• Title: Improving Fast Adversarial Training via Self-Knowledge Guidance
• Title（参考訳）: 自己学習指導による高速対人訓練の改善
• Authors: Chengze Jiang, Junkai Wang, Minjing Dong, Jie Gui, Xinli Shi, Yuan Cao, Yuan Yan Tang, James Tin-Yau Kwok,
• Abstract要約: 高速対人訓練(FAT)における不均衡問題を包括的に研究する。 我々は、そのパフォーマンスに関する明らかな階級格差を観察する。 この格差は、クリーンとロバストな精度の整合性の観点から具現化することができる。
• 参考スコア（独自算出の注目度）: 30.299641184202972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has achieved remarkable advancements in defending against adversarial attacks. Among them, fast adversarial training (FAT) is gaining attention for its ability to achieve competitive robustness with fewer computing resources. Existing FAT methods typically employ a uniform strategy that optimizes all training data equally without considering the influence of different examples, which leads to an imbalanced optimization. However, this imbalance remains unexplored in the field of FAT. In this paper, we conduct a comprehensive study of the imbalance issue in FAT and observe an obvious class disparity regarding their performances. This disparity could be embodied from a perspective of alignment between clean and robust accuracy. Based on the analysis, we mainly attribute the observed misalignment and disparity to the imbalanced optimization in FAT, which motivates us to optimize different training data adaptively to enhance robustness. Specifically, we take disparity and misalignment into consideration. First, we introduce self-knowledge guided regularization, which assigns differentiated regularization weights to each class based on its training state, alleviating class disparity. Additionally, we propose self-knowledge guided label relaxation, which adjusts label relaxation according to the training accuracy, alleviating the misalignment and improving robustness. By combining these methods, we formulate the Self-Knowledge Guided FAT (SKG-FAT), leveraging naturally generated knowledge during training to enhance the adversarial robustness without compromising training efficiency. Extensive experiments on four standard datasets demonstrate that the SKG-FAT improves the robustness and preserves competitive clean accuracy, outperforming the state-of-the-art methods.
• Abstract（参考訳）: 敵の訓練は敵の攻撃に対する防衛において顕著な進歩を遂げた。 それらの中で、高速対人訓練(FAT)は、少ない計算資源で競争力のある堅牢性を達成する能力に注目が集まっている。 既存のFAT手法では、異なる例の影響を考慮せずに、全てのトレーニングデータを等しく最適化する一様戦略を用いるのが一般的である。 しかし、この不均衡はFATの分野では未解明のままである。 本稿では,FATにおける不均衡問題を包括的に研究し,その性能に関する明らかな階級差を観察する。 この格差は、クリーンとロバストな精度の整合性の観点から具現化することができる。 この分析に基づいて、観測された相違点と相違点を、FATにおける不均衡な最適化に起因し、異なるトレーニングデータを適応的に最適化し、堅牢性を高める動機付けをする。 具体的には、不一致と不一致を考慮に入れます。 まず,クラス間の差を緩和し,各クラスに異なる正規化重みを割り当てる自己知識ガイド型正規化を導入する。 さらに,学習精度に応じてラベル緩和を調整し,誤調整を緩和し,堅牢性を向上させる自己知識誘導ラベル緩和を提案する。 これらの手法を組み合わせることで、訓練中に自然に生ずる知識を活用して、学習効率を損なうことなく対向的堅牢性を向上する自己知識ガイドFAT(SKG-FAT)を定式化する。 4つの標準データセットに対する大規模な実験は、SKG-FATがロバスト性を改善し、競争力のあるクリーンな精度を維持し、最先端の手法よりも優れていることを示した。

関連論文リスト

• Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective [61.38753850236804]
  高速対人訓練 (FAT) は, 効率的な訓練を行うために提案され, 熱い研究課題となっている。 FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 本稿では, FATにおける内的最適化と外的最適化のバランスが不均衡であることから, 破滅的なオーバーフィッティングが原因であることが確認された FAT の分類例を示す。
  論文  参考訳（メタデータ） (2024-07-22T03:56:27Z)
• Omnipotent Adversarial Training in the Wild [20.239704959690936]
  我々は、不均衡でノイズの多いデータセット上でモデルをトレーニングするためのOmniversapotent Adrial Training (OAT)戦略を提案する。 OATはトレーニングセットの不完全性に対処する2つの革新的な方法論で構成されている。 OATは他のベースラインを20%以上のクリーンな精度改善と10%の堅牢な精度改善で上回る。
  論文  参考訳（メタデータ） (2023-07-14T07:09:57Z)
• Improving Fast Adversarial Training with Prior-Guided Knowledge [80.52575209189365]
  本研究では,標準的な対人訓練と高速対人訓練の訓練過程を比較して,対人具体的品質と破滅的オーバーフィッティングの関係について検討した。 その結果,敵対例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。
  論文  参考訳（メタデータ） (2023-04-01T02:18:12Z)
• CalFAT: Calibrated Federated Adversarial Training with Label Skewness [46.47690793066599]
  本稿では,ロジットを適応的に校正することで,不安定問題に対処するキャリブレーションFAT (CalFAT) 手法を提案する。 我々はCalFATの最適化がクライアント間の同質な局所モデルをもたらし、収束率と最終性能が大幅に向上したことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2022-05-30T08:49:20Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。