論文の概要: Relating Adversarially Robust Generalization to Flat Minima
- arxiv url: http://arxiv.org/abs/2104.04448v1
- Date: Fri, 9 Apr 2021 15:55:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-12 14:14:33.139605
- Title: Relating Adversarially Robust Generalization to Flat Minima
- Title（参考訳）: 逆ロバスト一般化とフラットミニマの関係
- Authors: David Stutz, Matthias Hein, Bernt Schiele
- Abstract要約: 対戦訓練(AT)は、敵の例に対して堅牢なモデルを得るためのデファクトスタンダードとなっている。
重み空間におけるロバスト一般化とロバスト損失景観の平坦性の関係について検討した。
- 参考スコア（独自算出の注目度）: 138.59125287276194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training (AT) has become the de-facto standard to obtain models
robust against adversarial examples. However, AT exhibits severe robust
overfitting: cross-entropy loss on adversarial examples, so-called robust loss,
decreases continuously on training examples, while eventually increasing on
test examples. In practice, this leads to poor robust generalization, i.e.,
adversarial robustness does not generalize well to new examples. In this paper,
we study the relationship between robust generalization and flatness of the
robust loss landscape in weight space, i.e., whether robust loss changes
significantly when perturbing weights. To this end, we propose average- and
worst-case metrics to measure flatness in the robust loss landscape and show a
correlation between good robust generalization and flatness. For example,
throughout training, flatness reduces significantly during overfitting such
that early stopping effectively finds flatter minima in the robust loss
landscape. Similarly, AT variants achieving higher adversarial robustness also
correspond to flatter minima. This holds for many popular choices, e.g.,
AT-AWP, TRADES, MART, AT with self-supervision or additional unlabeled
examples, as well as simple regularization techniques, e.g., AutoAugment,
weight decay or label noise. For fair comparison across these approaches, our
flatness measures are specifically designed to be scale-invariant and we
conduct extensive experiments to validate our findings.
- Abstract（参考訳）: 対戦訓練(AT)は、敵の例に対して堅牢なモデルを得るためのデファクトスタンダードとなっている。
しかし、atは厳しい強固な過剰フィッティングを示しており、対向例におけるクロスエントロピー損失、いわゆる強固な損失はトレーニング例で連続的に減少し、最終的にはテスト例で増加する。
実際には、これは不十分なロバストな一般化、すなわち、逆のロバスト性は、新しい例にうまく一般化しない。
本稿では,重み空間におけるロバスト一般化とロバスト損失景観の平坦性との関係,すなわち,ロバスト損失が重みを摂動するときに著しく変化するかどうかについて検討する。
そこで本研究では,ロバストなロスランドスケープにおける平坦性を測定するための平均値と最悪値の指標を提案し,ロバストな一般化と平坦性との関係を示す。
例えば、トレーニングを通じて、オーバーフィッティング中に平坦性が著しく低下し、早期停止がロバストなロスランドスケープにおいて、より平坦なミニマを効果的に見つける。
同様に、高い対向ロバスト性を達成するAT変種も平坦なミニマに対応する。
これはAT-AWP、TRADES、MART、ATなど多くの一般的な選択肢に当てはまり、自己スーパービジョンや追加のラベル付けされていない例や、AutoAugment、ウェイト崩壊、ラベルノイズといった単純な正規化技術がある。
これらのアプローチを公平に比較するために、我々の平坦性尺度は、スケール不変であるように特別に設計され、発見を検証するために広範囲な実験を行う。
関連論文リスト
- The Uncanny Valley: Exploring Adversarial Robustness from a Flatness Perspective [34.55229189445268]
損失面の平坦性は、一般化と正の相関を持つだけでなく、対向的堅牢性にも関係している。
本稿では,1層のパラメータに対する逆例と相対平坦度の関係を実証的に解析する。
論文 参考訳（メタデータ） (2024-05-27T08:10:46Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Vulnerability-Aware Instance Reweighting For Adversarial Training [4.874780144224057]
対人訓練(AT)は、対人攻撃に対する深層学習分類器の堅牢性を大幅に向上させることが知られている。
ATはトレーニングセットの異なるクラスに不均一な影響を及ぼし、本質的に分類するのが難しいクラスに対応する例を不公平に傷つけます。
トレーニングセットにおける個々の例のロバストな損失に不等重みを割り当てる様々な再重み付けスキームが提案されている。
そこで本研究では,各自然事例の脆弱性と,敵攻撃時に発生する敵に対する情報損失について考察する。
論文 参考訳（メタデータ） (2023-07-14T05:31:32Z) - Understanding and Combating Robust Overfitting via Input Loss Landscape
Analysis and Regularization [5.1024659285813785]
アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。
標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。
対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
論文 参考訳（メタデータ） (2022-12-09T16:55:30Z) - Boundary Adversarial Examples Against Adversarial Overfitting [4.391102490444538]
敵の訓練アプローチは頑強なオーバーフィッティングに苦しむが、モデルがあまりに長く敵の訓練を受けると、頑健な精度が低下する。
強靭なオーバーフィッティングの効果を軽減するため, 早期停止, 時間的アンサンブル, 体重記憶などの緩和手法が提案されている。
本稿では,これらの緩和アプローチが相互に補完的であるかどうかを,対向訓練性能の向上のために検討する。
論文 参考訳（メタデータ） (2022-11-25T13:16:53Z) - Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
トレーニングインスタンスの観点から,この現象を考察する。
適応ステップサイズ(ATAS)を用いた逆学習法を提案する。
ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
論文 参考訳（メタデータ） (2022-06-06T08:20:07Z) - Alleviating Robust Overfitting of Adversarial Training With Consistency
Regularization [9.686724616328874]
対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。
強靭性は特定の段階で急激に低下し、常にATの間に存在する。
半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
論文 参考訳（メタデータ） (2022-05-24T03:18:43Z) - On the Impact of Hard Adversarial Instances on Overfitting in
Adversarial Training [72.95029777394186]
敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。
トレーニングインスタンスの観点から,この現象を考察する。
逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
論文 参考訳（メタデータ） (2021-12-14T12:19:24Z) - Adversarial Weight Perturbation Helps Robust Generalization [65.68598525492666]
敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善する最も有望な方法である。
本研究は, 対人訓練において, 広く使用されている減量景観(重量に対する空間変化)が果たす効果を示す。
本稿では, 重量減少景観の平坦性を明確に調整するための, 単純かつ効果的な対向重み摂動(AWP)を提案する。
論文 参考訳（メタデータ） (2020-04-13T12:05:01Z) - Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。
ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
論文 参考訳（メタデータ） (2020-03-24T03:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。