論文の概要: Catastrophic Overfitting is Weight Drift the Training Loss Cannot See

• arxiv url: http://arxiv.org/abs/2611.06082v1
• Date: Wed, 04 Nov 2026 07:23:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.012663
• Title: Catastrophic Overfitting is Weight Drift the Training Loss Cannot See
• Title（参考訳）: 悲惨な過度なオーバーフィッティング:トレーニングの損失は見当たらない
• Abstract要約: 高速対人訓練(FAT)は、多段階攻撃を単段階攻撃に置き換えることで、堅牢な訓練を安価に行えるようにする。 悲惨なオーバーフィッティング(CO)に悩まされ、トレーニング、堅牢性から多段階攻撃までがほぼゼロに崩壊する。 我々はCOが重みの静かな逃避であることを示す。
• 参考スコア（独自算出の注目度）: 3.735035759970195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast adversarial training (FAT) makes robust training affordable by replacing the multi-step attack with a single-step one, but it suffers from catastrophic overfitting (CO): partway through training, robustness to multi-step attacks collapses to near zero while the single-step attack used for training keeps being repelled. We show that CO is a quiet escape of the weights. Across the event the network's clean behavior quietly improves, and moving from the weights just before CO to those just after it changes the training objective only marginally while destroying most of the robustness. The training objective is therefore nearly blind to the displacement it causes, so it exerts no force to undo it. The exponential moving average (EMA) of the weights, which FAT protocols already maintain, does not accumulate this drift and stays robust through the entire event. This observation suggests a nearly free fix: when validation robustness drops, reset the weights to their EMA. We build this guard on top of a coupling-based base method designed so that its average stays inside the robust region. The resulting training removes CO in every one of our runs and attains the strongest AutoAttack accuracy among fast methods on all three benchmark datasets, including a clear margin on CIFAR-100, where it also clears the multi-step reference at roughly half its cost. Code is available at https://github.com/fzjcdt/co-weight-drift.
• Abstract（参考訳）: 高速対人訓練(FAT)は、マルチステップ攻撃をシングルステップ攻撃に置き換えることによって、堅牢なトレーニングを安価に行うが、壊滅的なオーバーフィッティング(CO)に悩まされる。 我々はCOが重みの静かな逃避であることを示す。 イベント全体を通して、ネットワークのクリーンな振る舞いは静かに改善され、COの直前の重量からトレーニングの目的を変更した直後の重量へ移動しながら、ロバスト性の大部分を破壊します。 したがって、トレーニングの目的は、それが引き起こす変位にほとんど盲目であるため、それを解除する力は与えない。 FATプロトコルがすでに維持している指数移動平均(EMA)は、このドリフトを蓄積せず、イベント全体を通して堅牢である。 この観察は、ほぼ自由な修正を示唆している。検証の堅牢性が低下すると、重みをEMAにリセットする。 我々はこのガードを結合ベースのベース手法の上に構築し、その平均値がロバストな領域内に留まるように設計する。 CIFAR-100の明確なマージンを含む3つのベンチマークデータセットの高速メソッドの中で、最も高いAutoAttack精度を達成し、マルチステップ参照を約半分のコストでクリアします。 コードはhttps://github.com/fzjcdt/co-weight-drift.comで入手できる。

関連論文リスト

• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
  トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
  論文  参考訳（メタデータ） (2022-06-06T08:20:07Z)
• Subspace Adversarial Training [24.47599337641455]
  そこで本稿では,AT を慎重に抽出した部分空間に拘束する Sub-AT (subspace adversarial training) を提案する。 サブスペースでは、より大きなステップと大きな半径を持つシングルステップATが許容され、ロバスト性性能がさらに向上する。 われわれの純粋なシングルステップATは、CIFAR-10で8/255ドルという強力なPGD-50攻撃に対して、$mathbf51%以上の堅牢な精度に達することができる。
  論文  参考訳（メタデータ） (2021-11-24T02:18:37Z)
• Bag of Tricks for Adversarial Training [50.53525358778331]
  アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
  論文  参考訳（メタデータ） (2020-10-01T15:03:51Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。