論文の概要: SAT: Improving Adversarial Training via Curriculum-Based Loss Smoothing

• arxiv url: http://arxiv.org/abs/2003.09347v3
• Date: Mon, 8 Nov 2021 10:53:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 09:50:00.803346
• Title: SAT: Improving Adversarial Training via Curriculum-Based Loss Smoothing
• Title（参考訳）: SAT:カリキュラムベースの損失平滑化による対人訓練の改善
• Authors: Chawin Sitawarin, Supriyo Chakraborty, David Wagner
• Abstract要約: カリキュラム学習は, 学習の「難易度」を重視し, 学習の「難易度」を徐々に上昇させ, 適度に選択された難易度基準のために, 対人的損失の景観を円滑化させる。 SATは、大きな摂動規範であってもネットワークトレーニングを安定させ、ATと比較して、ネットワークがよりクリーンな精度で運用できることを実証した。
• 参考スコア（独自算出の注目度）: 11.406879470613186
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Adversarial training (AT) has become a popular choice for training robust networks. However, it tends to sacrifice clean accuracy heavily in favor of robustness and suffers from a large generalization error. To address these concerns, we propose Smooth Adversarial Training (SAT), guided by our analysis on the eigenspectrum of the loss Hessian. We find that curriculum learning, a scheme that emphasizes on starting "easy" and gradually ramping up on the "difficulty" of training, smooths the adversarial loss landscape for a suitably chosen difficulty metric. We present a general formulation for curriculum learning in the adversarial setting and propose two difficulty metrics based on the maximal Hessian eigenvalue (H-SAT) and the softmax probability (P-SA). We demonstrate that SAT stabilizes network training even for a large perturbation norm and allows the network to operate at a better clean accuracy versus robustness trade-off curve compared to AT. This leads to a significant improvement in both clean accuracy and robustness compared to AT, TRADES, and other baselines. To highlight a few results, our best model improves normal and robust accuracy by 6% and 1% on CIFAR-100 compared to AT, respectively. On Imagenette, a ten-class subset of ImageNet, our model outperforms AT by 23% and 3% on normal and robust accuracy respectively.
• Abstract（参考訳）: 対人訓練(AT)は、ロバストネットワークのトレーニングにおいて一般的な選択肢となっている。 しかし、クリーンな正確さを犠牲にして頑健さを優先し、大きな一般化エラーに苦しむ傾向がある。 これらの問題に対処するため、我々は損失ヘッセンの固有スペクトルの分析によって導かれるSmooth Adversarial Training (SAT)を提案する。 カリキュラム学習は, 学習の「難易度」を重視し, 学習の「難易度」を徐々に高め, 適度に選択された難易度指標の対人的損失景観を円滑化させる。 本稿では, 逆条件下でのカリキュラム学習の一般的な定式化を行い, 最大ヘッセン固有値(H-SAT)とソフトマックス確率(P-SA)に基づく2つの難易度指標を提案する。 satは大きな摂動ノルムであってもネットワークトレーニングを安定させ、atと比較してよりクリーンな精度と堅牢性トレードオフ曲線でネットワークを運用できることを実証する。 これにより、AT、TRADES、その他のベースラインと比較して、クリーンな精度と堅牢性の両方が大幅に向上する。 その結果,ATと比較してCIFAR-100では,正解率と正解率を6%,正解率を1%向上した。 ImageNetの10クラスのサブセットであるImagenetteでは、当社のモデルが正常および堅牢な精度でATを23%上回っている。

関連論文リスト

• Omnipotent Adversarial Training in the Wild [20.239704959690936]
  我々は、不均衡でノイズの多いデータセット上でモデルをトレーニングするためのOmniversapotent Adrial Training (OAT)戦略を提案する。 OATはトレーニングセットの不完全性に対処する2つの革新的な方法論で構成されている。 OATは他のベースラインを20%以上のクリーンな精度改善と10%の堅牢な精度改善で上回る。
  論文  参考訳（メタデータ） (2023-07-14T07:09:57Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• RUSH: Robust Contrastive Learning via Randomized Smoothing [31.717748554905015]
  本稿では、対照的な事前学習がロバストネスと興味深いが暗黙の結びつきを持っているという驚くべき事実を示す。 我々は、標準的なコントラスト付き事前学習とランダムな平滑化を組み合わせた強力な対逆攻撃に対する堅牢なアルゴリズムRUSHを設計する。 我々の研究は、最先端技術と比較して、堅牢な精度が15%以上向上し、標準精度がわずかに改善されている。
  論文  参考訳（メタデータ） (2022-07-11T18:45:14Z)
• Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
  敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。 主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。 我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T01:39:37Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Smooth Adversarial Training [120.44430400607483]
  ネットワークは正確かつ堅牢であると一般に信じられている。 ここでは、敵対的訓練に関する慎重な研究により、これらの共通の信念に挑戦する証拠を提示する。 本研究では、ReLUをそのスムーズな近似で置き換えて、逆行訓練を強化するスムーズな逆行訓練(SAT)を提案する。
  論文  参考訳（メタデータ） (2020-06-25T16:34:39Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。