論文の概要: Understanding Robust Overfitting from the Feature Generalization Perspective
- arxiv url: http://arxiv.org/abs/2310.00607v2
- Date: Mon, 29 Jul 2024 05:41:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 00:46:55.578275
- Title: Understanding Robust Overfitting from the Feature Generalization Perspective
- Title(参考訳): 機能一般化の観点からのロバストなオーバーフィッティングを理解する
- Authors: Chaojian Yu, Xiaolong Shi, Jun Yu, Bo Han, Tongliang Liu,
- Abstract要約: 逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。
これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。
本稿では,新しい特徴一般化の観点からROを考察する。
- 参考スコア(独自算出の注目度): 61.770805867606796
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Adversarial training (AT) constructs robust neural networks by incorporating adversarial perturbations into natural data. However, it is plagued by the issue of robust overfitting (RO), which severely damages the model's robustness. In this paper, we investigate RO from a novel feature generalization perspective. Specifically, we design factor ablation experiments to assess the respective impacts of natural data and adversarial perturbations on RO, identifying that the inducing factor of RO stems from natural data. Given that the only difference between adversarial and natural training lies in the inclusion of adversarial perturbations, we further hypothesize that adversarial perturbations degrade the generalization of features in natural data and verify this hypothesis through extensive experiments. Based on these findings, we provide a holistic view of RO from the feature generalization perspective and explain various empirical behaviors associated with RO. To examine our feature generalization perspective, we devise two representative methods, attack strength and data augmentation, to prevent the feature generalization degradation during AT. Extensive experiments conducted on benchmark datasets demonstrate that the proposed methods can effectively mitigate RO and enhance adversarial robustness.
- Abstract(参考訳): 逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。
しかし、ロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。
本稿では,新しい特徴一般化の観点からROを考察する。
具体的には,自然データに対する各要因のアブレーション実験を設計し,その要因が自然データに由来することを確認した。
逆境と自然学習の唯一の違いが逆境の摂動の内包であることを考えると、逆境の摂動は自然データの特徴の一般化を低下させ、この仮説を広範な実験を通じて検証する。
これらの知見に基づき,特徴一般化の観点からROの全体像を示し,ROに関連する様々な経験的行動を説明する。
特徴一般化の観点を検討するため,ATにおける特徴一般化の劣化を防止するために,攻撃強度とデータ拡張という2つの代表的な手法を考案した。
ベンチマークデータセット上で行った大規模な実験により,提案手法はROを効果的に緩和し,対向ロバスト性を高めることができることが示された。
関連論文リスト
- The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2024-01-25T09:18:51Z) - Disentangled Text Representation Learning with Information-Theoretic
Perspective for Adversarial Robustness [17.5771010094384]
敵の脆弱性は信頼性の高いNLPシステムを構築する上で大きな障害である。
最近の研究は、モデルの敵意的な脆弱性は教師あり訓練における非破壊的な特徴によって引き起こされると主張している。
本稿では,不整合表現学習の観点から,敵対的課題に取り組む。
論文 参考訳(メタデータ) (2022-10-26T18:14:39Z) - Causal Information Bottleneck Boosts Adversarial Robustness of Deep
Neural Network [3.819052032134146]
情報ボトルネック (IB) 法は, 深層学習における敵対的攻撃に対する有効な防御方法である。
因果推論をIBフレームワークに組み込んで、そのような問題を緩和する。
本手法は,複数の敵攻撃に対してかなりの堅牢性を示す。
論文 参考訳(メタデータ) (2022-10-25T12:49:36Z) - How many perturbations break this model? Evaluating robustness beyond
adversarial accuracy [28.934863462633636]
入力点と摂動方向の制約の両方が与えられた摂動を成功させることがいかに困難であるかを定量化する。
空間性は、ニューラルネットワークに関する貴重な洞察を、複数の方法で提供することを示す。
論文 参考訳(メタデータ) (2022-07-08T21:25:17Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳(メタデータ) (2022-03-25T19:57:19Z) - Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。
提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
論文 参考訳(メタデータ) (2021-11-25T05:51:03Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳(メタデータ) (2021-06-18T16:34:23Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳(メタデータ) (2021-02-23T20:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。