論文の概要: On the Onset of Robust Overfitting in Adversarial Training
- arxiv url: http://arxiv.org/abs/2310.00607v1
- Date: Sun, 1 Oct 2023 07:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 03:09:45.361852
- Title: On the Onset of Robust Overfitting in Adversarial Training
- Title(参考訳): 対向訓練におけるロバストオーバーフィッティングの発症について
- Authors: Chaojian Yu, Xiaolong Shi, Jun Yu, Bo Han, Tongliang Liu
- Abstract要約: Adversarial Training (AT)は、堅牢なニューラルネットワークを構築するために広く使われているアルゴリズムである。
ATは、堅牢なオーバーフィッティングの問題に悩まされているが、その基本的なメカニズムはまだ不明だ。
- 参考スコア(独自算出の注目度): 66.27055915739331
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Adversarial Training (AT) is a widely-used algorithm for building robust
neural networks, but it suffers from the issue of robust overfitting, the
fundamental mechanism of which remains unclear. In this work, we consider
normal data and adversarial perturbation as separate factors, and identify that
the underlying causes of robust overfitting stem from the normal data through
factor ablation in AT. Furthermore, we explain the onset of robust overfitting
as a result of the model learning features that lack robust generalization,
which we refer to as non-effective features. Specifically, we provide a
detailed analysis of the generation of non-effective features and how they lead
to robust overfitting. Additionally, we explain various empirical behaviors
observed in robust overfitting and revisit different techniques to mitigate
robust overfitting from the perspective of non-effective features, providing a
comprehensive understanding of the robust overfitting phenomenon. This
understanding inspires us to propose two measures, attack strength and data
augmentation, to hinder the learning of non-effective features by the neural
network, thereby alleviating robust overfitting. Extensive experiments
conducted on benchmark datasets demonstrate the effectiveness of the proposed
methods in mitigating robust overfitting and enhancing adversarial robustness.
- Abstract(参考訳): Adversarial Training (AT)は、堅牢なニューラルネットワークを構築するために広く使われているアルゴリズムであるが、堅牢なオーバーフィッティングの問題に悩まされている。
本研究では, 正規データと逆摂動を分離した要因と考え, 強固な過剰フィッティングの原因がatにおける因子アブレーションによる正常データから生じることを同定する。
さらに、ロバストな一般化を欠いたモデル学習機能の結果として、ロバストな過剰フィッティングが始まっていることを説明し、これを非効率的な機能と呼ぶ。
具体的には、非効率的な機能の生成と、それらがいかに堅牢な過剰フィッティングにつながるかに関する詳細な分析を提供する。
さらに, 強靭な過フィット現象を包括的に理解し, 強靭な過フィットを非効率な特徴の観点から緩和するために, 様々なテクニックを再検討する。
この理解は、ニューラルネットワークによる非効率な特徴の学習を妨げるために、攻撃強度とデータ拡張という2つの尺度を提案するきっかけとなる。
ベンチマークデータセットを用いた広範囲な実験により,提案手法の有効性が実証された。
関連論文リスト
- The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2024-01-25T09:18:51Z) - Disentangled Text Representation Learning with Information-Theoretic
Perspective for Adversarial Robustness [17.5771010094384]
敵の脆弱性は信頼性の高いNLPシステムを構築する上で大きな障害である。
最近の研究は、モデルの敵意的な脆弱性は教師あり訓練における非破壊的な特徴によって引き起こされると主張している。
本稿では,不整合表現学習の観点から,敵対的課題に取り組む。
論文 参考訳(メタデータ) (2022-10-26T18:14:39Z) - Causal Information Bottleneck Boosts Adversarial Robustness of Deep
Neural Network [3.819052032134146]
情報ボトルネック (IB) 法は, 深層学習における敵対的攻撃に対する有効な防御方法である。
因果推論をIBフレームワークに組み込んで、そのような問題を緩和する。
本手法は,複数の敵攻撃に対してかなりの堅牢性を示す。
論文 参考訳(メタデータ) (2022-10-25T12:49:36Z) - How many perturbations break this model? Evaluating robustness beyond
adversarial accuracy [28.934863462633636]
入力点と摂動方向の制約の両方が与えられた摂動を成功させることがいかに困難であるかを定量化する。
空間性は、ニューラルネットワークに関する貴重な洞察を、複数の方法で提供することを示す。
論文 参考訳(メタデータ) (2022-07-08T21:25:17Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳(メタデータ) (2022-03-25T19:57:19Z) - Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。
提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
論文 参考訳(メタデータ) (2021-11-25T05:51:03Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳(メタデータ) (2021-06-18T16:34:23Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳(メタデータ) (2021-02-23T20:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。