論文の概要: Efficient local linearity regularization to overcome catastrophic overfitting

• arxiv url: http://arxiv.org/abs/2401.11618v2
• Date: Wed, 28 Feb 2024 16:37:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 18:02:19.444323
• Title: Efficient local linearity regularization to overcome catastrophic overfitting
• Title（参考訳）: 破壊的過剰フィッティングを克服する効率的な局所線形正規化
• Authors: Elias Abad Rocamora, Fanghui Liu, Grigorios G. Chrysos, Pablo M. Olmos, Volkan Cevher
• Abstract要約: 単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
• 参考スコア（独自算出の注目度）: 59.463867084204566
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Catastrophic overfitting (CO) in single-step adversarial training (AT) results in abrupt drops in the adversarial test accuracy (even down to 0%). For models trained with multi-step AT, it has been observed that the loss function behaves locally linearly with respect to the input, this is however lost in single-step AT. To address CO in single-step AT, several methods have been proposed to enforce local linearity of the loss via regularization. However, these regularization terms considerably slow down training due to Double Backpropagation. Instead, in this work, we introduce a regularization term, called ELLE, to mitigate CO effectively and efficiently in classical AT evaluations, as well as some more difficult regimes, e.g., large adversarial perturbations and long training schedules. Our regularization term can be theoretically linked to curvature of the loss function and is computationally cheaper than previous methods by avoiding Double Backpropagation. Our thorough experimental validation demonstrates that our work does not suffer from CO, even in challenging settings where previous works suffer from it. We also notice that adapting our regularization parameter during training (ELLE-A) greatly improves the performance, specially in large $\epsilon$ setups. Our implementation is available in https://github.com/LIONS-EPFL/ELLE .
• Abstract（参考訳）: 単段階逆行訓練 (AT) における破滅的オーバーフィッティング (CO) は, 逆行性テスト精度(0%まで)の急激な低下をもたらす。 多段ATで訓練されたモデルでは、損失関数は入力に対して局所的に線形に振る舞うことが観察されているが、これは単段ATでは失われる。 単一ステップATでCOに対処するために、正規化により損失の局所線型性を強制するいくつかの方法が提案されている。 しかしながら、これらの正規化条件はダブルバックプロパゲーションによるトレーニングを著しく遅くする。 その代わり,本研究では,古典的評価においてcoを効果的かつ効率的に緩和するためにelleと呼ばれる正規化用語を導入する。 我々の正規化項は、損失関数の曲率に理論的に関連付けられ、二重バックプロパゲーションを回避して、従来の方法よりも計算的に安価である。 私たちの徹底した実験的検証は、以前の作業がcoに苦しむような状況でも、私たちの作業がcoに苦しむことはないことを証明します。 また、トレーニング中に正規化パラメータ(ELLE-A)を適用することで、特に大規模な$\epsilon$セットアップでパフォーマンスが大幅に向上する点にも気付きました。 我々の実装はhttps://github.com/LIONS-EPFL/ELLEで利用可能です。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• RTRA: Rapid Training of Regularization-based Approaches in Continual Learning [0.0]
  カタストロフィック・ナッシング(CF)に対する正規化に基づくアプローチでは、重要なトレーニングパラメータの変更は、適切な損失関数を用いてその後のタスクでペナル化される。 本稿では、損失関数の最適化にNatural Gradientを用いて、広く使われている弾性重み強化スキームの修正であるRTRAを提案する。 本手法は,テストデータ性能を犠牲にすることなく,正規化に基づく手法の訓練を改善する。
  論文  参考訳（メタデータ） (2023-12-14T21:51:06Z)
• Test-Time Training for Semantic Segmentation with Output Contrastive Loss [12.535720010867538]
  ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。 本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。 本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
  論文  参考訳（メタデータ） (2023-11-14T03:13:47Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Prior-Guided Adversarial Initialization for Fast Adversarial Training [84.56377396106447]
  本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
  論文  参考訳（メタデータ） (2022-07-18T18:13:10Z)
• Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
  トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
  論文  参考訳（メタデータ） (2022-06-06T08:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。