論文の概要: Investigating Catastrophic Overfitting in Fast Adversarial Training: A Self-fitting Perspective

• arxiv url: http://arxiv.org/abs/2302.11963v1
• Date: Thu, 23 Feb 2023 12:23:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 15:25:19.792664
• Title: Investigating Catastrophic Overfitting in Fast Adversarial Training: A Self-fitting Perspective
• Title（参考訳）: 高速対人訓練における破滅的オーバーフィッティングの考察--自己適合の視点から
• Authors: Zhengbao He, Tao Li, Sizhe Chen and Xiaolin Huang
• Abstract要約: 我々はFGSMの例をデータ情報と自己情報に分離し、「自己適合」と呼ばれる興味深い現象を明らかにする。 自己適合が発生すると、ネットワークは明らかな「チャネル分化」現象を経験し、自己情報を認識するための畳み込みチャネルが支配的になり、一方、データ情報に対するチャンネルは抑圧される。 本研究は, 対人訓練における自己学習のメカニズムを明らかにするとともに, 異なる種類の情報を抑制してCOを緩和するための新たな視点を開くことを目的とした。
• 参考スコア（独自算出の注目度）: 17.59014650714359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although fast adversarial training provides an efficient approach for building robust networks, it may suffer from a serious problem known as catastrophic overfitting (CO), where the multi-step robust accuracy suddenly collapses to zero. In this paper, we for the first time decouple the FGSM examples into data-information and self-information, which reveals an interesting phenomenon called "self-fitting". Self-fitting, i.e., DNNs learn the self-information embedded in single-step perturbations, naturally leads to the occurrence of CO. When self-fitting occurs, the network experiences an obvious "channel differentiation" phenomenon that some convolution channels accounting for recognizing self-information become dominant, while others for data-information are suppressed. In this way, the network learns to only recognize images with sufficient self-information and loses generalization ability to other types of data. Based on self-fitting, we provide new insight into the existing methods to mitigate CO and extend CO to multi-step adversarial training. Our findings reveal a self-learning mechanism in adversarial training and open up new perspectives for suppressing different kinds of information to mitigate CO.
• Abstract（参考訳）: 高速対人訓練は、堅牢なネットワークを構築するための効率的なアプローチを提供するが、破滅的なオーバーフィッティング(CO)と呼ばれる深刻な問題に悩まされる可能性がある。 本稿では,fgsmの例を初めてデータ情報と自己情報に分離し,"自己適合"と呼ばれる興味深い現象を明らかにした。 自己適合、すなわちDNNは単段階摂動に埋め込まれた自己情報を学び、自然にCOが発生する。 自己適合が発生すると、ネットワークは明らかな「チャネル分化」現象を経験し、自己情報を認識するための畳み込みチャネルが支配的になり、一方、データ情報のチャンネルは抑圧される。 このようにして、ネットワークは十分な自己情報を持つ画像のみを認識することを学び、他の種類のデータに対する一般化能力を失う。 自己適合性に基づいて,COを緩和し,COを多段階対人訓練に拡張する既存手法に関する新たな知見を提供する。 本研究は, 対人訓練における自己学習のメカニズムを明らかにし, 異なる種類の情報を抑制してCOを緩和するための新たな視点を開く。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Exploring Adversarial Examples and Adversarial Robustness of Convolutional Neural Networks by Mutual Information [44.841339443764696]
  本研究では,情報抽出における2種類の畳み込みニューラルネットワーク(CNN)の類似性と相違について検討する。 敵対的な例がCNNを誤解させた理由は、それらが他のカテゴリに関するテクスチャベースの情報を含んでいるからかもしれない。 通常訓練されたCNNは入力からテクスチャベースの情報を抽出する傾向があり、逆学習されたモデルは形状ベースの情報を好む。
  論文  参考訳（メタデータ） (2022-07-12T13:25:42Z)
• Monitoring Shortcut Learning using Mutual Information [16.17600110257266]
  ショートカット学習は、素早い相関を含まない実世界のデータに基づいて評価される。 実験により、MIはメートル法ネットワークのショートカットネットワークとして使用できることが示された。
  論文  参考訳（メタデータ） (2022-06-27T03:55:23Z)
• Catastrophic overfitting can be induced with discriminative non-robust features [95.07189577345059]
  自然画像の典型的データセットの制御による一段階AT法におけるCOの開始について検討した。 本研究は, 一見無害な画像の注入により, 従来よりはるかに小さいエプシロン$値でCOを誘導できることを示唆する。
  論文  参考訳（メタデータ） (2022-06-16T15:22:39Z)
• Certified Robustness in Federated Learning [54.03574895808258]
  我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。 単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
  論文  参考訳（メタデータ） (2022-06-06T12:10:53Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。