論文の概要: Layer-Aware Analysis of Catastrophic Overfitting: Revealing the Pseudo-Robust Shortcut Dependency

• arxiv url: http://arxiv.org/abs/2405.16262v1
• Date: Sat, 25 May 2024 14:56:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 22:17:06.191756
• Title: Layer-Aware Analysis of Catastrophic Overfitting: Revealing the Pseudo-Robust Shortcut Dependency
• Title（参考訳）: 破滅的オーバーフィッティングの層別解析:擬似ロバスト短絡依存性の解明
• Authors: Runqi Lin, Chaojian Yu, Bo Han, Hang Su, Tongliang Liu,
• Abstract要約: カタストロフィックオーバーフィッティング(CO)は単段階逆行訓練(AT)において重要な課題となる また,CO中において,前層はより感受性が高く,より早く,より歪みが強く,後者層は相対的不感度を示した。 提案手法であるLayer-Aware Adversarial Weight Perturbation (LAP)は,COを効果的に防止し,ロバスト性を高める。
• 参考スコア（独自算出の注目度）: 61.394997313144394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic overfitting (CO) presents a significant challenge in single-step adversarial training (AT), manifesting as highly distorted deep neural networks (DNNs) that are vulnerable to multi-step adversarial attacks. However, the underlying factors that lead to the distortion of decision boundaries remain unclear. In this work, we delve into the specific changes within different DNN layers and discover that during CO, the former layers are more susceptible, experiencing earlier and greater distortion, while the latter layers show relative insensitivity. Our analysis further reveals that this increased sensitivity in former layers stems from the formation of pseudo-robust shortcuts, which alone can impeccably defend against single-step adversarial attacks but bypass genuine-robust learning, resulting in distorted decision boundaries. Eliminating these shortcuts can partially restore robustness in DNNs from the CO state, thereby verifying that dependence on them triggers the occurrence of CO. This understanding motivates us to implement adaptive weight perturbations across different layers to hinder the generation of pseudo-robust shortcuts, consequently mitigating CO. Extensive experiments demonstrate that our proposed method, Layer-Aware Adversarial Weight Perturbation (LAP), can effectively prevent CO and further enhance robustness.
• Abstract（参考訳）: カタストロフィックオーバーフィッティング(CO)は、多段階の敵攻撃に対して脆弱な、高度に歪んだディープニューラルネットワーク(DNN)として、単段階の敵訓練(AT)において重大な課題を呈している。 しかし、決定境界の歪みにつながる根底にある要因はいまだ不明である。 本研究では、異なるDNN層内の特定の変化を探索し、CO中は、前層がより感受性が高く、より早く大きな歪みを経験し、後者層は相対的な感度を示した。 分析の結果,従来のレイヤーの感度向上は,単一段階の敵攻撃に対して防御できるが,真の不正学習を回避できる擬似不正ショートカットの形成に起因していることが明らかとなった。 これらのショートカットの除去は、CO状態からDNNの堅牢性を部分的に復元し、それらへの依存がCOの発生を引き起こすことを確認する。 この理解は、異なる層にまたがる適応的な重み摂動を実装する動機となり、擬似ロバストショートカットの発生を妨げ、結果としてCOを緩和する。 広汎な実験により,提案手法であるLayer-Aware Adversarial Weight Perturbation (LAP) がCOを効果的に防止し,より堅牢性を高めることができることが示された。

関連論文リスト

• Eliminating Catastrophic Overfitting Via Abnormal Adversarial Examples Regularization [50.43319961935526]
  SSAT(Single-step adversarial training)は、効率性と堅牢性の両方を達成する可能性を実証している。 SSATは破滅的なオーバーフィッティング(CO)に苦しむが、これは非常に歪んだ分類器に繋がる現象である。 本研究では,SSAT学習ネットワーク上で発生するいくつかの逆の例が異常な振る舞いを示すことを観察する。
  論文  参考訳（メタデータ） (2024-04-11T22:43:44Z)
• Catastrophic Overfitting: A Potential Blessing in Disguise [51.996943482875366]
  FAT(Fast Adversarial Training)は、敵の堅牢性向上に効果があるとして、研究コミュニティ内で注目を集めている。 既存のFATアプローチではCOの緩和が進んでいるが, クリーンサンプルの分類精度が低下するにつれて, 対向ロバスト性の上昇が生じる。 クリーンな例と逆向きな例に特徴アクティベーションの相違を利用して,COの根本原因を分析した。 我々は, モデル性能を高めることを目的として, 「攻撃難読化」を実現するためにCOを活用する。
  論文  参考訳（メタデータ） (2024-02-28T10:01:44Z)
• Fixed Inter-Neuron Covariability Induces Adversarial Robustness [26.878913741674058]
  敵対的摂動の脆弱性はディープニューラルネットワーク(DNN)の重大な欠陥である 我々は,各ニューロンが固定された,しかし学習された共変性パターンに従うように,活性化が互いに一致したニューロンからなる自己持続活性化層を開発した。 SCA層を持つモデルは高い精度を達成し、対向的な摂動データでトレーニングされることなく、最先端のAuto-PGD攻撃に対して多層パーセプトロンモデルよりもはるかに堅牢性を示した。
  論文  参考訳（メタデータ） (2023-08-07T23:46:14Z)
• Catastrophic overfitting can be induced with discriminative non-robust features [95.07189577345059]
  自然画像の典型的データセットの制御による一段階AT法におけるCOの開始について検討した。 本研究は, 一見無害な画像の注入により, 従来よりはるかに小さいエプシロン$値でCOを誘導できることを示唆する。
  論文  参考訳（メタデータ） (2022-06-16T15:22:39Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Combating Adversaries with Anti-Adversaries [118.70141983415445]
  特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。 我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。 我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-03-26T09:36:59Z)
• Towards Understanding the Dynamics of the First-Order Adversaries [40.54670072901657]
  ニューラルネットワークの弱点として認識されているのは、入力に対する敵の摂動に対する脆弱性である。 最も一般的な防御機構の1つは、投射された上昇を使って入力の制約された摂動による損失を最大化し、重量を最小化することである。 二次的損失を有する2層ニューラルネットワークの逆方向の非凹面環境について検討する。
  論文  参考訳（メタデータ） (2020-10-20T22:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。