論文の概要: Rethinking Adversarial Training with A Simple Baseline

• arxiv url: http://arxiv.org/abs/2306.07613v1
• Date: Tue, 13 Jun 2023 08:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 14:29:58.589402
• Title: Rethinking Adversarial Training with A Simple Baseline
• Title（参考訳）: 単純なベースラインによる逆行訓練の再考
• Authors: Hong Liu, Shin'ichi Satoh
• Abstract要約: CIFAR と SVHN に対する RobustBench の競争結果を, 単純かつ効果的なベースラインアプローチを用いて報告する。 我々のアプローチは、再スケールされた正方形損失、循環学習率、消去に基づくデータ拡張を統合するトレーニングプロトコルを含む。
• 参考スコア（独自算出の注目度）: 26.120502776853886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We report competitive results on RobustBench for CIFAR and SVHN using a simple yet effective baseline approach. Our approach involves a training protocol that integrates rescaled square loss, cyclic learning rates, and erasing-based data augmentation. The outcomes we have achieved are comparable to those of the model trained with state-of-the-art techniques, which is currently the predominant choice for adversarial training. Our baseline, referred to as SimpleAT, yields three novel empirical insights. (i) By switching to square loss, the accuracy is comparable to that obtained by using both de-facto training protocol plus data augmentation. (ii) One cyclic learning rate is a good scheduler, which can effectively reduce the risk of robust overfitting. (iii) Employing rescaled square loss during model training can yield a favorable balance between adversarial and natural accuracy. In general, our experimental results show that SimpleAT effectively mitigates robust overfitting and consistently achieves the best performance at the end of training. For example, on CIFAR-10 with ResNet-18, SimpleAT achieves approximately 52% adversarial accuracy against the current strong AutoAttack. Furthermore, SimpleAT exhibits robust performance on various image corruptions, including those commonly found in CIFAR-10-C dataset. Finally, we assess the effectiveness of these insights through two techniques: bias-variance analysis and logit penalty methods. Our findings demonstrate that all of these simple techniques are capable of reducing the variance of model predictions, which is regarded as the primary contributor to robust overfitting. In addition, our analysis also uncovers connections with various advanced state-of-the-art methods.
• Abstract（参考訳）: CIFAR と SVHN に対する RobustBench の競争結果を, 単純かつ効果的なベースラインアプローチを用いて報告する。 我々のアプローチは、再スケールされた正方形損失、循環学習率、消去に基づくデータ拡張を統合するトレーニングプロトコルを含む。 私たちが達成した成果は、現在の最先端技術でトレーニングされたモデルに匹敵するものです。 我々のベースラインはSimpleATと呼ばれ、3つの新しい経験的洞察をもたらす。 (i)正方形損失に切り替えることで、精度はデファクトトレーニングプロトコルとデータ拡張の両方を用いて得られるものと同等となる。 (二) 循環学習率の一つが良いスケジューラであり、堅牢なオーバーフィッティングのリスクを効果的に軽減することができる。 (iii)モデルトレーニング中に再スケールされた正方形損失を採用すると、逆と自然の正確さのバランスが良好になる。 実験結果から,SimpleATは強靭なオーバーフィッティングを効果的に軽減し,トレーニング終了時の最高のパフォーマンスを継続的に達成することを示す。 例えば、ResNet-18のCIFAR-10では、SimpleATは現在の強力なAutoAttackに対して約52%の対角精度を達成する。 さらにSimpleATは、CIFAR-10-Cデータセットでよく見られるものなど、さまざまな画像破損に対して堅牢なパフォーマンスを示している。 最後に、バイアス分散分析とロジットペナルティ法という2つの手法を用いて、これらの洞察の有効性を評価する。 以上の結果から,これらの単純な手法はモデル予測のばらつきを減らし,頑健なオーバーフィッティングに寄与すると考えられる。 さらに,様々な最先端手法との接続についても分析により明らかにしている。

関連論文リスト

• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
  そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。 提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
  論文  参考訳（メタデータ） (2023-09-18T03:55:41Z)
• Resisting Adversarial Attacks in Deep Neural Networks using Diverse Decision Boundaries [12.312877365123267]
  深層学習システムは、人間の目には認識できないが、モデルが誤分類される可能性がある、人工的な敵の例に弱い。 我々は,オリジナルモデルに対する多様な決定境界を持つディフェンダーモデルを構築するための,アンサンブルに基づく新しいソリューションを開発した。 我々は、MNIST、CIFAR-10、CIFAR-100といった標準画像分類データセットを用いて、最先端の敵攻撃に対する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-18T08:19:26Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
  対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。 プレプロセス法は、ロバストネス劣化効果に悩まされることがある。 この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。 本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T01:45:32Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)
• Bag of Tricks for Adversarial Training [50.53525358778331]
  アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
  論文  参考訳（メタデータ） (2020-10-01T15:03:51Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。