論文の概要: Bag of Tricks for Adversarial Training

• arxiv url: http://arxiv.org/abs/2010.00467v3
• Date: Wed, 31 Mar 2021 09:34:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 07:09:48.409871
• Title: Bag of Tricks for Adversarial Training
• Title（参考訳）: 対人訓練のためのトリックの袋
• Authors: Tianyu Pang, Xiao Yang, Yinpeng Dong, Hang Su, Jun Zhu
• Abstract要約: アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
• 参考スコア（独自算出の注目度）: 50.53525358778331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) is one of the most effective strategies for promoting model robustness. However, recent benchmarks show that most of the proposed improvements on AT are less effective than simply early stopping the training procedure. This counter-intuitive fact motivates us to investigate the implementation details of tens of AT methods. Surprisingly, we find that the basic settings (e.g., weight decay, training schedule, etc.) used in these methods are highly inconsistent. In this work, we provide comprehensive evaluations on CIFAR-10, focusing on the effects of mostly overlooked training tricks and hyperparameters for adversarially trained models. Our empirical observations suggest that adversarial robustness is much more sensitive to some basic training settings than we thought. For example, a slightly different value of weight decay can reduce the model robust accuracy by more than 7%, which is probable to override the potential promotion induced by the proposed methods. We conclude a baseline training setting and re-implement previous defenses to achieve new state-of-the-art results. These facts also appeal to more concerns on the overlooked confounders when benchmarking defenses.
• Abstract（参考訳）: モデルロバスト性を促進するための最も効果的な戦略の1つである。 しかし、最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。 この反直感的な事実は、数十のATメソッドの実装詳細を調査する動機となっている。 驚くべきことに、これらの手法で使用される基本的な設定(例えば、体重減少、トレーニングスケジュールなど)は、非常に矛盾している。 本研究では,CIFAR-10に対する総合的な評価を行い,主に見落とされがちなトレーニングトリックとハイパーパラメータの効果に着目した。 私たちの経験的観察は、敵の堅牢性は、想像以上に基本的なトレーニング設定に対してはるかに敏感であることを示している。 例えば、重量減衰のわずかに異なる値は、モデルが頑健な精度を7%以上低下させる可能性がある。 我々は、新しい最先端の成果を達成するために、ベースライントレーニング設定を終了し、以前の防御を再実装する。 これらの事実は、ベンチマークの防御において見過ごされた共同ファウンダーたちに対するより多くの懸念にも訴える。

関連論文リスト

• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Revisiting and Advancing Adversarial Training Through A Simple Baseline [7.226961695849204]
  我々はSimpleATと呼ばれるシンプルなベースラインアプローチを導入し、最近の手法と競合し、堅牢なオーバーフィッティングを緩和する。 我々はCIFAR-10/100とTiny-ImageNetで広範囲に実験を行い、SimpleATの最先端の敵攻撃に対する堅牢性を検証する。 以上の結果から,SimpleATと先進的対人防御手法の相互関係が明らかとなった。
  論文  参考訳（メタデータ） (2023-06-13T08:12:52Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。