論文の概要: The Curious Case of Adversarially Robust Models: More Data Can Help,
Double Descend, or Hurt Generalization
- arxiv url: http://arxiv.org/abs/2002.11080v2
- Date: Fri, 5 Jun 2020 23:46:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 20:51:46.212572
- Title: The Curious Case of Adversarially Robust Models: More Data Can Help,
Double Descend, or Hurt Generalization
- Title（参考訳）: 逆ロバストモデルの奇抜な事例: より多くのデータが助け、二重遅延、またはハート一般化に役立つ
- Authors: Yifei Min, Lin Chen, Amin Karbasi
- Abstract要約: 敵対的トレーニングは、入力データの摂動に頑健なモデルを作成する能力を示しているが、通常は標準精度の低下を犠牲にしている。
本稿では, 学習データの増加が, 分類問題における相対的ロバストモデルの一般化を損なうことを示す。
- 参考スコア（独自算出の注目度）: 36.87923859576768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training has shown its ability in producing models that are
robust to perturbations on the input data, but usually at the expense of
decrease in the standard accuracy. To mitigate this issue, it is commonly
believed that more training data will eventually help such adversarially robust
models generalize better on the benign/unperturbed test data. In this paper,
however, we challenge this conventional belief and show that more training data
can hurt the generalization of adversarially robust models in the
classification problems. We first investigate the Gaussian mixture
classification with a linear loss and identify three regimes based on the
strength of the adversary. In the weak adversary regime, more data improves the
generalization of adversarially robust models. In the medium adversary regime,
with more training data, the generalization loss exhibits a double descent
curve, which implies the existence of an intermediate stage where more training
data hurts the generalization. In the strong adversary regime, more data almost
immediately causes the generalization error to increase. Then we move to the
analysis of a two-dimensional classification problem with a 0-1 loss. We prove
that more data always hurts the generalization performance of adversarially
trained models with large perturbations. To complement our theoretical results,
we conduct empirical studies on Gaussian mixture classification, support vector
machines (SVMs), and linear regression.
- Abstract（参考訳）: 敵対的トレーニングは、入力データの摂動に頑健なモデルを作成する能力を示しているが、通常は標準精度の低下を犠牲にしている。
この問題を緩和するためには、より多くのトレーニングデータが、このような逆向きに堅牢なモデルが良質で未成熟なテストデータに対してより良く一般化するのに役立つと一般的に信じられている。
しかし,本稿では,この従来の信念に異議を唱え,さらに多くのトレーニングデータが,分類問題における対角的ロバストモデルの一般化を損なうことを示す。
まず,線形損失を伴うガウス混合分類について検討し,敵の強みに基づいて3つの規則を同定する。
弱い敵対体制では、より多くのデータが対向的に堅牢なモデルの一般化を改善する。
中間対立体制においては、より多くのトレーニングデータを持つ一般化損失は二重降下曲線を示し、より多くのトレーニングデータが一般化を損なう中間段階の存在を示唆する。
強敵体制では、より多くのデータがほぼ即座に一般化エラーを増加させる。
次に,0-1の損失を持つ2次元分類問題の解析に移行する。
より多くのデータが、大きな摂動を持つ敵対的に訓練されたモデルの一般化性能を常に損なうことを証明します。
理論的結果を補完するため,ガウス混合分類,支持ベクトルマシン(SVM),線形回帰に関する実証的研究を行った。
関連論文リスト
- Model Debiasing by Learnable Data Augmentation [19.625915578646758]
本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。
合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
論文 参考訳（メタデータ） (2024-08-09T09:19:59Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Why adversarial training can hurt robust accuracy [7.906608953906889]
敵の訓練は、十分なデータが利用可能であれば、小さなサンプルサイズ体制における堅牢な一般化を損なう可能性がある。
我々の証明は、特徴学習モデルにも移行する可能性のある説明的洞察を提供する。
論文 参考訳（メタデータ） (2022-03-03T20:41:38Z) - Guided Interpolation for Adversarial Training [73.91493448651306]
トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。
本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。
バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
論文 参考訳（メタデータ） (2021-02-15T03:55:08Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - Precise Statistical Analysis of Classification Accuracies for
Adversarial Training [43.25761725062367]
この問題を治療するために、近年、様々な敵の訓練手順が提案されている。
我々は,逆向きに訓練されたミニマックスモデルの標準とロバストな精度を正確に評価する。
論文 参考訳（メタデータ） (2020-10-21T18:00:53Z) - Whitening and second order optimization both make information in the
dataset unusable during training, and can reduce or prevent generalization [50.53690793828442]
データの白化と二階最適化の両方が、一般化を損なうか、完全に阻止できることを示す。
一般モデルのクラス、すなわち、完全に連結された第一層を持つモデルに対して、この行列に含まれる情報が一般化に使用できる唯一の情報であることを示す。
論文 参考訳（メタデータ） (2020-08-17T18:00:05Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z) - More Data Can Expand the Generalization Gap Between Adversarially Robust
and Standard Models [37.85664398110855]
現代の機械学習モデルは、人間がデータを認識できないような敵の攻撃を受けやすいが、重大かつ潜在的に危険な予測エラーをもたらす。
この問題に対処するために、実践者は、しばしば、非摂動テストセットに対する一般化エラーの増大を犠牲にして、そのような攻撃に対して堅牢なモデルを学ぶために、敵のトレーニングを使用する。
我々は、$ell_infty$攻撃の下でガウスモデルとベルヌーイモデルの両方の堅牢な分類器の訓練について検討し、より多くのデータが実際にこのギャップを増大させることを証明した。
論文 参考訳（メタデータ） (2020-02-11T23:01:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。