論文の概要: On the Over-Memorization During Natural, Robust and Catastrophic Overfitting

• arxiv url: http://arxiv.org/abs/2310.08847v2
• Date: Thu, 11 Apr 2024 22:04:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 19:45:17.469899
• Title: On the Over-Memorization During Natural, Robust and Catastrophic Overfitting
• Title（参考訳）: 自然, ロバスト, カタストロフィックオーバーフィッティング時の過記憶について
• Authors: Runqi Lin, Chaojian Yu, Bo Han, Tongliang Liu,
• Abstract要約: オーバーフィッティングは、自然と敵対両方のトレーニングにおいて、ディープニューラルネットワーク(DNN)の一般化能力に悪影響を及ぼす。 本稿では,過メモリ化を明示的に防止する一般的なフレームワークである Distraction Over-Memorization (DOM) を提案する。
• 参考スコア（独自算出の注目度）: 58.613079045392446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overfitting negatively impacts the generalization ability of deep neural networks (DNNs) in both natural and adversarial training. Existing methods struggle to consistently address different types of overfitting, typically designing strategies that focus separately on either natural or adversarial patterns. In this work, we adopt a unified perspective by solely focusing on natural patterns to explore different types of overfitting. Specifically, we examine the memorization effect in DNNs and reveal a shared behaviour termed over-memorization, which impairs their generalization capacity. This behaviour manifests as DNNs suddenly becoming high-confidence in predicting certain training patterns and retaining a persistent memory for them. Furthermore, when DNNs over-memorize an adversarial pattern, they tend to simultaneously exhibit high-confidence prediction for the corresponding natural pattern. These findings motivate us to holistically mitigate different types of overfitting by hindering the DNNs from over-memorization training patterns. To this end, we propose a general framework, Distraction Over-Memorization (DOM), which explicitly prevents over-memorization by either removing or augmenting the high-confidence natural patterns. Extensive experiments demonstrate the effectiveness of our proposed method in mitigating overfitting across various training paradigms.
• Abstract（参考訳）: オーバーフィッティングは、自然と敵対両方のトレーニングにおいて、ディープニューラルネットワーク(DNN)の一般化能力に悪影響を及ぼす。 既存の手法は、異なるタイプのオーバーフィッティングに一貫して対処し、通常、自然なパターンと敵対的なパターンに別々にフォーカスする戦略を設計する。 本研究では,自然パターンにのみ焦点をあてて,異なるタイプのオーバーフィッティングを探求することによって,統一的な視点を採用する。 具体的には、DNNにおける記憶効果を検証し、その一般化能力を損なう「過剰記憶」と呼ばれる共有行動を明らかにする。 この行動は、特定のトレーニングパターンを予測し、永続的なメモリを保持する上で、DNNが突然高信頼になるときに現れます。 さらに、DNNが対向パターンを過度に記憶すると、対応する自然パターンに対する高い信頼度予測が同時に現れる傾向にある。 これらの知見は,DNNを記憶過剰のトレーニングパターンから妨げることによって,さまざまなオーバーフィッティングをホリスティックに緩和する動機となっている。 そこで本研究では,高信頼な自然パターンを削除あるいは強化することにより,過記憶を明示的に防止する一般フレームワークである Distraction Over-Memorization (DOM) を提案する。 様々な訓練パラダイムにまたがるオーバーフィッティングを緩和するために,提案手法の有効性を実証した。

関連論文リスト

• Robust Overfitting Does Matter: Test-Time Adversarial Purification With FGSM [5.592360872268223]
  防衛戦略は通常、特定の敵攻撃法のためにディープニューラルネットワーク(DNN)を訓練し、この種の敵攻撃に対する防御において優れた堅牢性を達成することができる。 しかしながら、不慣れな攻撃モダリティに関する評価を受けると、実証的な証拠はDNNの堅牢性の顕著な劣化を示す。 ほとんどの防衛方法は、DNNの敵の堅牢性を改善するために、クリーンな例の精度を犠牲にすることが多い。
  論文  参考訳（メタデータ） (2024-03-18T03:54:01Z)
• F$^2$AT: Feature-Focusing Adversarial Training via Disentanglement of Natural and Perturbed Patterns [74.03108122774098]
  ディープニューラルネットワーク(DNN)は、よく設計された摂動によって構築された敵の例に対して脆弱である。 これは、自動運転車、監視セキュリティ、医療診断などの重要な応用について、悲惨な結果をもたらす可能性がある。 本稿では,自然パターンから中心となる特徴に焦点を合わせ,モデルに焦点をあてる機能集中型適応訓練(F$2$AT)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T04:31:42Z)
• Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
  ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。 本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。 本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
  論文  参考訳（メタデータ） (2022-07-25T13:45:11Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
  対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。 プレプロセス法は、ロバストネス劣化効果に悩まされることがある。 この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。 本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T01:45:32Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Semantics-Preserving Adversarial Training [12.242659601882147]
  逆行訓練は、訓練データに逆行例を含めることで、ディープニューラルネットワーク(DNN)の逆行性を改善する技術である。 本研究では,すべてのクラスで共有される画素の摂動を促すセマンティックス保存逆行訓練(SPAT)を提案する。 実験の結果,SPATは対向ロバスト性を向上し,CIFAR-10およびCIFAR-100の最先端結果を達成することがわかった。
  論文  参考訳（メタデータ） (2020-09-23T07:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。