論文の概要: On the Over-Memorization During Natural, Robust and Catastrophic
Overfitting
- arxiv url: http://arxiv.org/abs/2310.08847v1
- Date: Fri, 13 Oct 2023 04:14:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 14:33:24.821483
- Title: On the Over-Memorization During Natural, Robust and Catastrophic
Overfitting
- Title(参考訳): 自然, ロバスト, カタストロフィックオーバーフィッティング時の過記憶について
- Authors: Runqi Lin, Chaojian Yu, Bo Han, Tongliang Liu
- Abstract要約: オーバーフィッティングは、自然と敵対両方のトレーニングにおいて、ディープニューラルネットワーク(DNN)の一般化能力に悪影響を及ぼす。
既存のメソッドは、異なるタイプのオーバーフィッティングに一貫して対処するのに苦労する。
本稿では,過メモリ化を明示的に防止する一般的なフレームワークである Distraction Over-Memorization (DOM) を提案する。
- 参考スコア(独自算出の注目度): 64.03057812220239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Overfitting negatively impacts the generalization ability of deep neural
networks (DNNs) in both natural and adversarial training. Existing methods
struggle to consistently address different types of overfitting, typically
designing strategies that focus separately on either natural or adversarial
patterns. In this work, we adopt a unified perspective by solely focusing on
natural patterns to explore different types of overfitting. Specifically, we
examine the memorization effect in DNNs and reveal a shared behaviour termed
over-memorization, which impairs their generalization capacity. This behaviour
manifests as DNNs suddenly becoming high-confidence in predicting certain
training patterns and retaining a persistent memory for them. Furthermore, when
DNNs over-memorize an adversarial pattern, they tend to simultaneously exhibit
high-confidence prediction for the corresponding natural pattern. These
findings motivate us to holistically mitigate different types of overfitting by
hindering the DNNs from over-memorization natural patterns. To this end, we
propose a general framework, Distraction Over-Memorization (DOM), which
explicitly prevents over-memorization by either removing or augmenting the
high-confidence natural patterns. Extensive experiments demonstrate the
effectiveness of our proposed method in mitigating overfitting across various
training paradigms.
- Abstract(参考訳): オーバーフィッティングは、自然と敵対両方のトレーニングにおいて、ディープニューラルネットワーク(DNN)の一般化能力に悪影響を及ぼす。
既存の手法は、異なるタイプのオーバーフィッティングに一貫して対処し、通常、自然なパターンと敵対的なパターンに別々にフォーカスする戦略を設計する。
本研究では,自然パターンにのみ焦点をあてて,異なるタイプのオーバーフィッティングを探求する,統一的な視点を採用する。
具体的には,dnnにおける記憶効果を検証し,記憶過剰と呼ばれる共有行動が一般化能力を損なうことを明らかにした。
この行動は、特定のトレーニングパターンを予測し、永続的なメモリを保持する上で、DNNが突然高信頼になるときに現れます。
さらに、DNNが対向パターンを過度に記憶すると、対応する自然パターンに対する高い信頼度予測が同時に現れる傾向にある。
これらの知見は,DNNを記憶過剰な自然パターンから阻害することにより,様々なオーバーフィッティングをホリスティックに緩和する動機となっている。
そこで本研究では,高信頼な自然パターンを削除あるいは強化することにより,過記憶を明示的に防止する一般フレームワークである Distraction Over-Memorization (DOM) を提案する。
様々な訓練パラダイムにまたがるオーバーフィッティングを緩和するための提案手法の有効性を示す。
関連論文リスト
- Mitigating Feature Gap for Adversarial Robustness by Feature
Disentanglement [61.048842737581865]
逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。
特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。
3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
論文 参考訳(メタデータ) (2024-01-26T08:38:57Z) - F$^2$AT: Feature-Focusing Adversarial Training via Disentanglement of
Natural and Perturbed Patterns [74.03108122774098]
ディープニューラルネットワーク(DNN)は、よく設計された摂動によって構築された敵の例に対して脆弱である。
これは、自動運転車、監視セキュリティ、医療診断などの重要な応用について、悲惨な結果をもたらす可能性がある。
本稿では,自然パターンから中心となる特徴に焦点を合わせ,モデルに焦点をあてる機能集中型適応訓練(F$2$AT)を提案する。
論文 参考訳(メタデータ) (2023-10-23T04:31:42Z) - Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。
本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。
本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
論文 参考訳(メタデータ) (2022-07-25T13:45:11Z) - Improved and Interpretable Defense to Transferred Adversarial Examples
by Jacobian Norm with Selective Input Gradient Regularization [31.516568778193157]
ディープニューラルネットワーク(DNN)の堅牢性を改善するために、AT(Adversarial Training)がよく用いられる。
本研究では,ジャコビアンノルムと選択的入力勾配正規化(J-SIGR)に基づくアプローチを提案する。
実験により、提案したJ-SIGRは、転送された敵攻撃に対するロバスト性を向上し、ニューラルネットワークからの予測が容易に解釈できることが示されている。
論文 参考訳(メタデータ) (2022-07-09T01:06:41Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-08T07:40:55Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳(メタデータ) (2022-03-18T01:12:18Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z) - Semantics-Preserving Adversarial Training [12.242659601882147]
逆行訓練は、訓練データに逆行例を含めることで、ディープニューラルネットワーク(DNN)の逆行性を改善する技術である。
本研究では,すべてのクラスで共有される画素の摂動を促すセマンティックス保存逆行訓練(SPAT)を提案する。
実験の結果,SPATは対向ロバスト性を向上し,CIFAR-10およびCIFAR-100の最先端結果を達成することがわかった。
論文 参考訳(メタデータ) (2020-09-23T07:42:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。