論文の概要: Catastrophic overfitting is a bug but also a feature

• arxiv url: http://arxiv.org/abs/2206.08242v1
• Date: Thu, 16 Jun 2022 15:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:09:14.826317
• Title: Catastrophic overfitting is a bug but also a feature
• Title（参考訳）: 破滅的なオーバーフィッティングはバグだが機能でもある
• Authors: Guillermo Ortiz-Jim\'enez, Pau de Jorge, Amartya Sanyal, Adel Bibi, Puneet K. Dokania, Pascal Frossard, Gregory Rog\'ez, Philip H.S. Torr
• Abstract要約: 障害的オーバーフィッティング(CO): ネットワークは、最初の段階において、非自明なロバスト性を得るが、突然、わずか数回で全てのロバスト性を失うブレークポイントに達する。 我々は,データ構造とATの力学との相互作用がCOの基本的な役割を担っていることを発見した。
• 参考スコア（独自算出の注目度）: 104.88337181721349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite clear computational advantages in building robust neural networks, adversarial training (AT) using single-step methods is unstable as it suffers from catastrophic overfitting (CO): Networks gain non-trivial robustness during the first stages of adversarial training, but suddenly reach a breaking point where they quickly lose all robustness in just a few iterations. Although some works have succeeded at preventing CO, the different mechanisms that lead to this remarkable failure mode are still poorly understood. In this work, however, we find that the interplay between the structure of the data and the dynamics of AT plays a fundamental role in CO. Specifically, through active interventions on typical datasets of natural images, we establish a causal link between the structure of the data and the onset of CO in single-step AT methods. This new perspective provides important insights into the mechanisms that lead to CO and paves the way towards a better understanding of the general dynamics of robust model construction. The code to reproduce the experiments of this paper can be found at https://github.com/gortizji/co_features .
• Abstract（参考訳）: 強靭なニューラルネットワーク構築において、明確な計算上の優位性にもかかわらず、単一ステップの手法を用いた敵対的トレーニング(AT)は、破滅的なオーバーフィッティング(CO)に悩まされるため不安定である。 coの防止に成功している作品もあるが、この驚くべき失敗モードにつながる様々なメカニズムは、いまだによく分かっていない。 しかし,本研究では,データ構造とATのダイナミクスの相互作用がCOの基本的な役割を担っていることがわかった。 具体的には、自然画像の典型的なデータセットに対するアクティブな介入を通じて、単一ステップAT法でデータの構造とCOの開始との間に因果関係を確立する。 この新たな視点は、COにつながるメカニズムに関する重要な洞察を与え、ロバストモデル構築の一般的なダイナミクスをよりよく理解するための道を開く。 この論文の実験を再現するコードは、https://github.com/gortizji/co_features にある。

関連論文リスト

• Layer-Aware Analysis of Catastrophic Overfitting: Revealing the Pseudo-Robust Shortcut Dependency [61.394997313144394]
  カタストロフィックオーバーフィッティング(CO)は単段階逆行訓練(AT)において重要な課題となる また,CO中において,前層はより感受性が高く,より早く,より歪みが強く,後者層は相対的不感度を示した。 提案手法であるLayer-Aware Adversarial Weight Perturbation (LAP)は,COを効果的に防止し,ロバスト性を高める。
  論文  参考訳（メタデータ） (2024-05-25T14:56:30Z)
• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• Catastrophic Overfitting: A Potential Blessing in Disguise [51.996943482875366]
  FAT(Fast Adversarial Training)は、敵の堅牢性向上に効果があるとして、研究コミュニティ内で注目を集めている。 既存のFATアプローチではCOの緩和が進んでいるが, クリーンサンプルの分類精度が低下するにつれて, 対向ロバスト性の上昇が生じる。 クリーンな例と逆向きな例に特徴アクティベーションの相違を利用して,COの根本原因を分析した。 我々は, モデル性能を高めることを目的として, 「攻撃難読化」を実現するためにCOを活用する。
  論文  参考訳（メタデータ） (2024-02-28T10:01:44Z)
• Investigating Catastrophic Overfitting in Fast Adversarial Training: A Self-fitting Perspective [17.59014650714359]
  データ情報と自己情報に1段階の逆転例を分離し,「自己適合」と呼ばれる興味深い現象を明らかにする。 自己適合が発生すると、ネットワークは明らかな「チャネル分化」現象を経験し、自己情報を認識するための畳み込みチャネルが支配的になり、一方、データ情報に対するチャンネルは抑圧される。 本研究は, 対人訓練における自己学習のメカニズムを明らかにするとともに, 異なる種類の情報を抑制してCOを緩和するための新たな視点を開くことを目的とした。
  論文  参考訳（メタデータ） (2023-02-23T12:23:35Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。