論文の概要: Overfitting in adversarially robust deep learning

• arxiv url: http://arxiv.org/abs/2002.11569v2
• Date: Wed, 4 Mar 2020 14:33:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 14:26:36.560153
• Title: Overfitting in adversarially robust deep learning
• Title（参考訳）: 敵対的ロバストな深層学習におけるオーバーフィット
• Authors: Leslie Rice, Eric Wong, J. Zico Kolter
• Abstract要約: トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
• 参考スコア（独自算出の注目度）: 86.11788847990783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is common practice in deep learning to use overparameterized networks and train for as long as possible; there are numerous studies that show, both theoretically and empirically, that such practices surprisingly do not unduly harm the generalization performance of the classifier. In this paper, we empirically study this phenomenon in the setting of adversarially trained deep networks, which are trained to minimize the loss under worst-case adversarial perturbations. We find that overfitting to the training set does in fact harm robust performance to a very large degree in adversarially robust training across multiple datasets (SVHN, CIFAR-10, CIFAR-100, and ImageNet) and perturbation models ($\ell_\infty$ and $\ell_2$). Based upon this observed effect, we show that the performance gains of virtually all recent algorithmic improvements upon adversarial training can be matched by simply using early stopping. We also show that effects such as the double descent curve do still occur in adversarially trained models, yet fail to explain the observed overfitting. Finally, we study several classical and modern deep learning remedies for overfitting, including regularization and data augmentation, and find that no approach in isolation improves significantly upon the gains achieved by early stopping. All code for reproducing the experiments as well as pretrained model weights and training logs can be found at https://github.com/locuslab/robust_overfitting.
• Abstract（参考訳）: ディープラーニングでは、過剰パラメータネットワークを使用して可能な限りトレーニングすることが一般的であり、理論的にも経験的にも、これらのプラクティスが分類器の一般化性能に明らかに影響を与えないことを示す多くの研究がある。 本稿では,この現象を,最悪の場合の摂動による損失を最小限に抑えるように訓練した,敵対的訓練を受けた深層ネットワークの設定において経験的に研究する。 トレーニングセットへのオーバーフィットは、複数のデータセット(SVHN、CIFAR-10、CIFAR-100、ImageNet)と摂動モデル(\ell_\infty$および$\ell_2$)をまたいで、逆向きに堅牢なトレーニングにおいて、非常に大きなロバストパフォーマンスを損なう。 この観測結果から, 逆行訓練における最近のアルゴリズム改善は, ほぼすべて, 早期停止を用いて達成できることが示唆された。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, オーバーフィッティングを説明できないことを示す。 最後に, 正規化やデータ拡張など, オーバーフィッティングのための古典的, 近代的な深層学習の治療法について検討し, 早期停止によって得られる利益に対して, 孤立的アプローチが著しく改善しないことを見出した。 実験を再現するためのすべてのコードと事前トレーニングされたモデル重みとトレーニングログは、https://github.com/locuslab/robust_overfittingで見ることができる。

関連論文リスト

• Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs [9.010643838773477]
  本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。 我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2023-10-17T09:22:22Z)
• United We Stand: Using Epoch-wise Agreement of Ensembles to Combat Overfit [7.627299398469962]
  オーバーフィッティングを効果的に克服するディープネットワークのための新しいアンサンブル分類器を提案する。 本手法は, 汎用性能の劣化を伴わずに, オーバーフィッティング段階で得られた有用な知識を組み込むことが可能である。 私たちの方法は実装が容易で、どんなトレーニングスキームやアーキテクチャにも統合できます。
  論文  参考訳（メタデータ） (2023-10-17T08:51:44Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [70.82725772926949]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 本研究では,この現象をトレーニングインスタンスの観点から検討する。 逆行訓練における一般化性能の低下は、ハード・逆行例に適合した結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• When and how epochwise double descent happens [7.512375012141203]
  急激な二重降下効果は、一般化誤差が最初は減少し、その後上昇し、最終的にトレーニング時間の増加とともに再び低下する。 このことは、訓練に要する時間の長さが長く、検証性能に基づく早期停止が準最適一般化をもたらすという現実的な問題である。 本研究は, 急激な二重降下は騒音発生に要するが, 第2の臨界騒音レベル以上の早期停止は有効であることを示す。
  論文  参考訳（メタデータ） (2021-08-26T19:19:17Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。