論文の概要: Understanding Catastrophic Overfitting in Adversarial Training
- arxiv url: http://arxiv.org/abs/2105.02942v1
- Date: Thu, 6 May 2021 20:39:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-10 12:25:26.311368
- Title: Understanding Catastrophic Overfitting in Adversarial Training
- Title（参考訳）: 逆行訓練における破滅的オーバーフィッティングの理解
- Authors: Peilin Kang, Seyed-Mohsen Moosavi-Dezfooli
- Abstract要約: 破滅的オーバーフィッティング(CO)と呼ばれる障害モードは,トレーニング中に突然頑健さを失い,単独では回復し難い。
FGSMでは、摂動方向に沿って新たな決定境界が生成され、大きな摂動よりも小さな摂動をより効果的にする。
mboxDFinfty$-1の場合、摂動方向に沿って生成された新しい決定境界はなく、代わりに$mboxDFinfty$-1によって生成された摂動はCO後に小さくなります。
- 参考スコア（独自算出の注目度）: 18.896969966103814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, FGSM adversarial training is found to be able to train a robust
model which is comparable to the one trained by PGD but an order of magnitude
faster. However, there is a failure mode called catastrophic overfitting (CO)
that the classifier loses its robustness suddenly during the training and
hardly recovers by itself. In this paper, we find CO is not only limited to
FGSM, but also happens in $\mbox{DF}^{\infty}$-1 adversarial training. Then, we
analyze the geometric properties for both FGSM and $\mbox{DF}^{\infty}$-1 and
find they have totally different decision boundaries after CO. For FGSM, a new
decision boundary is generated along the direction of perturbation and makes
the small perturbation more effective than the large one. While for
$\mbox{DF}^{\infty}$-1, there is no new decision boundary generated along the
direction of perturbation, instead the perturbation generated by
$\mbox{DF}^{\infty}$-1 becomes smaller after CO and thus loses its
effectiveness. We also experimentally analyze three hypotheses on potential
factors causing CO. And then based on the empirical analysis, we modify the
RS-FGSM by not projecting perturbation back to the $l_\infty$ ball. By this
small modification, we could achieve $47.56 \pm 0.37\% $ PGD-50-10 accuracy on
CIFAR10 with $\epsilon=8/255$ in contrast to $43.57 \pm 0.30\% $ by RS-FGSM and
also further extend the working range of $\epsilon$ from 8/255 to 11/255 on
CIFAR10 without CO occurring.
- Abstract（参考訳）: 近年、FGSM逆行訓練は、PGDが訓練したものに匹敵するが、桁違いに高速な頑健なモデルを訓練できることが判明した。
しかし、破滅的なオーバーフィッティング(CO)と呼ばれる障害モードがあり、訓練中に突然頑丈さを失い、単独では回復しにくい。
本稿では,co が fgsm に限定されるだけでなく,$\mbox{df}^{\infty}$-1 の対向訓練でも発生することを見出した。
次に、FGSM と $\mbox{DF}^{\infty}$-1 の幾何学的性質を分析し、CO の後に全く異なる決定境界を持つことを示した。
$\mbox{DF}^{\infty}$-1 の場合、摂動方向に沿って生成される新しい決定境界は存在しないが、代わりに$\mbox{DF}^{\infty}$-1 によって生成される摂動は CO の後に小さくなり、その結果その効果が失われる。
また,COの原因となる因子に関する3つの仮説を実験的に分析し,実験結果に基づいて,摂動を$l_\infty$ボールに投影しないことでRS-FGSMを修正した。
この小さな修正により、CIFAR10で47.56 \pm 0.37\%$ PGD-50-10の精度を$\epsilon=8/255$と、RS-FGSMで43.57 \pm 0.30\%の精度で達成でき、さらにCOなしでCIFAR10で$\epsilon$を8/255から11/255まで拡張できる。
関連論文リスト
- IT$^3$: Idempotent Test-Time Training [95.78053599609044]
本稿では,分散シフトの課題に対処する新しいアプローチであるIdempotent Test-Time Training (IT$3$)を紹介する。
IT$3$は、イデオロジェンスの普遍性に基づいている。
画像分類の劣化など,様々なタスクにまたがるアプローチの汎用性を実証する。
論文 参考訳（メタデータ） (2024-10-05T15:39:51Z) - Fast Rates for Bandit PAC Multiclass Classification [73.17969992976501]
我々は,帯域幅フィードバックを用いたマルチクラスPAC学習について検討し,入力を$K$ラベルの1つに分類し,予測されたラベルが正しいか否かに制限する。
我々の主な貢献は、問題の無知な$(varepsilon,delta)$PACバージョンのための新しい学習アルゴリズムを設計することである。
論文 参考訳（メタデータ） (2024-06-18T08:54:04Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Federated Linear Bandits with Finite Adversarial Actions [20.1041278044797]
我々は、M$のクライアントが中央サーバと通信し、線形文脈の帯域幅問題を解決するための連合線形帯域幅モデルについて検討する。
逆有限作用集合のユニークな問題に対処するため、FedSupLinUCBアルゴリズムを提案する。
我々は、FedSupLinUCBが$tildeO(sqrtd T)$の完全後悔を達成したことを証明している。
論文 参考訳（メタデータ） (2023-11-02T03:41:58Z) - Federated Learning in the Presence of Adversarial Client Unavailability [16.201377650598516]
フェデレートラーニング(Federated Learning)は、生データを公開せずにコラボレーティブモデルを可能にする、分散機械学習フレームワークである。
多様なハードウェアソフトウェアに制限があるため、クライアントはサーバからの計算要求に対して常に利用できるとは限らない。
戦場のような厳しい環境では、敵は特定のクライアントを選択的に黙らせることができる。
論文 参考訳（メタデータ） (2023-05-31T15:57:07Z) - Robust Nonparametric Regression under Poisoning Attack [13.470899588917716]
敵攻撃者は、$N$のトレーニングデータセットから最大$q$のサンプル値を変更することができる。
初期解法はハマー損失最小化に基づくM推定器である。
最後の見積もりは、任意の$q$に対してほぼ最小値であり、最大$ln N$ factorまでである。
論文 参考訳（メタデータ） (2023-05-26T09:33:17Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - Towards Alternative Techniques for Improving Adversarial Robustness:
Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。
私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。
ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
論文 参考訳（メタデータ） (2022-06-13T22:01:21Z) - Make Some Noise: Reliable and Efficient Single-Step Adversarial Training [81.2112613657771]
単段階対向訓練におけるノイズとクリップの役割を再考する。
クリーンサンプルの周囲に強いノイズと切断しないノイズを併用することにより, 大きな摂動半径に対するCOの回避に極めて有効であることが判明した。
論文 参考訳（メタデータ） (2022-02-02T18:10:01Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-22T00:32:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。