論文の概要: Improving Corruption and Adversarial Robustness by Enhancing Weak Subnets

• arxiv url: http://arxiv.org/abs/2201.12765v1
• Date: Sun, 30 Jan 2022 09:36:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 17:03:48.878024
• Title: Improving Corruption and Adversarial Robustness by Enhancing Weak Subnets
• Title（参考訳）: 弱サブネット強化による腐敗と敵対的ロバスト性の向上
• Authors: Yong Guo, David Stutz, Bernt Schiele
• Abstract要約: 本研究では,頑健性を向上させるために,トレーニング中の弱さを明確に識別し,強化する新しいロバストトレーニング手法を提案する。 具体的には、特に弱いものを見つけるための探索アルゴリズムを開発し、全ネットワークからの知識蒸留を通じてそれらを明示的に強化することを提案する。 EWSは、破損した画像に対するロバスト性を大幅に改善し、クリーンなデータの正確性も向上することを示す。
• 参考スコア（独自算出の注目度）: 91.9346332103637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have achieved great success in many computer vision tasks. However, deep networks have been shown to be very susceptible to corrupted or adversarial images, which often result in significant performance drops. In this paper, we observe that weak subnetwork (subnet) performance is correlated with a lack of robustness against corruptions and adversarial attacks. Based on that observation, we propose a novel robust training method which explicitly identifies and enhances weak subnets (EWS) during training to improve robustness. Specifically, we develop a search algorithm to find particularly weak subnets and propose to explicitly strengthen them via knowledge distillation from the full network. We show that our EWS greatly improves the robustness against corrupted images as well as the accuracy on clean data. Being complementary to many state-of-the-art data augmentation approaches, EWS consistently improves corruption robustness on top of many of these approaches. Moreover, EWS is also able to boost the adversarial robustness when combined with popular adversarial training methods.
• Abstract（参考訳）: ディープニューラルネットワークは多くのコンピュータビジョンタスクで大きな成功を収めた。 しかし、ディープネットワークは破損した画像や敵画像に非常に影響を受けやすいことが示されており、しばしば大きな性能低下をもたらす。 本稿では,弱サブネットワーク(サブネット)の性能が,汚職に対する堅牢性の欠如や敵攻撃と相関していることを示す。 そこで本研究では,ロバストネス向上のためのトレーニングにおいて,弱いサブネット(EWS)を明確に識別し,強化する新しいロバストトレーニング手法を提案する。 具体的には,特に弱いサブネットを探索する探索アルゴリズムを開発し,全ネットワークからの知識蒸留により,それを明示的に強化することを提案する。 EWSは、破損した画像に対するロバスト性を大幅に改善し、クリーンなデータの正確性も向上することを示す。 多くの最先端のデータ拡張アプローチを補完するものとして、EWSは、これらのアプローチの上位にある汚職の堅牢性を一貫して改善します。 さらに、EWSは、一般的な対人訓練手法と組み合わせることで、対人ロバスト性を高めることができる。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing [5.1024659285813785]
  敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-03-24T15:41:40Z)
• Rethinking Robust Contrastive Learning from the Adversarial Perspective [2.3333090554192615]
  標準学習ネットワークでは,敵とクリーンな表現の相違が顕著である。 敵の訓練は、これらの格差を緩和し、普遍的な集合に対する表現の収束を促進する。
  論文  参考訳（メタデータ） (2023-02-05T22:43:50Z)
• AugRmixAT: A Data Processing and Training Method for Improving Multiple Robustness and Generalization Performance [10.245536402327096]
  ディープニューラルネットワークモデルの具体的な堅牢性を改善するために、これまでの多くの研究が提案されている。 本稿では,ニューラルネットワークモデルの一般化能力とマルチロバスト性を同時に向上する,AugRmixATと呼ばれる新しいデータ処理とトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T04:02:24Z)
• Understanding Robust Learning through the Lens of Representation Similarities [37.66877172364004]
  ディープニューラルネットワーク(DNN)の望ましい性質として、敵の例に対するロバストさが出現した 本稿では,頑健な学習によって学習される表現の性質が,標準的非破壊的学習から得られた表現とどのように異なるかを理解することを目的とする。
  論文  参考訳（メタデータ） (2022-06-20T16:06:20Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Rethinking Clustering for Robustness [56.14672993686335]
  ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。 textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
  論文  参考訳（メタデータ） (2020-06-13T16:55:51Z)
• Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes [51.31334977346847]
  我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。 異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-04-01T09:31:10Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。