論文の概要: A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking

• arxiv url: http://arxiv.org/abs/2302.14301v1
• Date: Tue, 28 Feb 2023 04:26:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 18:16:17.391950
• Title: A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking
• Title（参考訳）: 画像分類モデルのロバスト性に関する総合的研究:ベンチマークと再考
• Authors: Chang Liu, Yinpeng Dong, Wenzhao Xiang, Xiao Yang, Hang Su, Jun Zhu, Yuefeng Chen, Yuan He, Hui Xue, Shibao Zheng
• Abstract要約: ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
• 参考スコア（独自算出の注目度）: 54.89987482509155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The robustness of deep neural networks is usually lacking under adversarial examples, common corruptions, and distribution shifts, which becomes an important research problem in the development of deep learning. Although new deep learning methods and robustness improvement techniques have been constantly proposed, the robustness evaluations of existing methods are often inadequate due to their rapid development, diverse noise patterns, and simple evaluation metrics. Without thorough robustness evaluations, it is hard to understand the advances in the field and identify the effective methods. In this paper, we establish a comprehensive robustness benchmark called \textbf{ARES-Bench} on the image classification task. In our benchmark, we evaluate the robustness of 55 typical deep learning models on ImageNet with diverse architectures (e.g., CNNs, Transformers) and learning algorithms (e.g., normal supervised training, pre-training, adversarial training) under numerous adversarial attacks and out-of-distribution (OOD) datasets. Using robustness curves as the major evaluation criteria, we conduct large-scale experiments and draw several important findings, including: 1) there is an inherent trade-off between adversarial and natural robustness for the same model architecture; 2) adversarial training effectively improves adversarial robustness, especially when performed on Transformer architectures; 3) pre-training significantly improves natural robustness based on more training data or self-supervised learning. Based on ARES-Bench, we further analyze the training tricks in large-scale adversarial training on ImageNet. By designing the training settings accordingly, we achieve the new state-of-the-art adversarial robustness. We have made the benchmarking results and code platform publicly available.
• Abstract（参考訳）: ディープニューラルネットワークのロバスト性は通常、逆の例、共通の腐敗、分散シフトの下では欠如しており、ディープラーニングの開発において重要な研究課題となっている。 新しい深層学習法とロバスト性改善手法が常に提案されているが、既存の手法のロバスト性評価は、その急速な発展、多様なノイズパターン、単純な評価指標のために不適切であることが多い。 徹底的な堅牢性評価がなければ、現場の進歩を理解し、有効な方法を特定することは困難である。 本稿では,画像分類タスクにおける包括的ロバスト性ベンチマークである \textbf{ares-bench} を確立する。 ベンチマークでは,さまざまなアーキテクチャ(CNN,Transformerなど)と学習アルゴリズム(通常の教師付きトレーニング,事前トレーニング,対人トレーニングなど)を,多数の敵攻撃とアウト・オブ・ディストリビューション(OOD)データセットの下で,ImageNet上で55の典型的なディープラーニングモデルの堅牢性を評価する。 主評価基準としてロバスト性曲線を用い,大規模実験を行い,次のような重要な知見を得た。 1) 同一のモデルアーキテクチャに対して,敵対的かつ自然な堅牢性の間に固有のトレードオフがある。 2) 対人訓練は,特にトランスフォーマーアーキテクチャ上で実施する場合において,対人堅牢性を効果的に向上させる。 3)事前学習は,訓練データや自己指導型学習に基づいて,自然の堅牢性を大幅に向上させる。 ARES-Benchに基づいて、ImageNet上の大規模対人訓練におけるトレーニング手法をさらに分析する。 トレーニング設定を適切に設計することにより,新たな最先端の敵対的ロバスト性を実現する。 ベンチマーク結果とコードプラットフォームを一般公開しました。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。 トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。 本稿では,多目的特徴表現学習手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training [109.9218185711916]
  アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。 我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-04-19T11:07:43Z)
• Differentiable Search of Accurate and Robust Architectures [22.435774101990752]
  敵の訓練は 単純さと有効性から 注目を集めています ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。 本稿では,敵の訓練後に正確で堅牢なニューラルネットワークを自動検索するDSARAを提案する。
  論文  参考訳（メタデータ） (2022-12-28T08:36:36Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Understanding Robust Learning through the Lens of Representation Similarities [37.66877172364004]
  ディープニューラルネットワーク(DNN)の望ましい性質として、敵の例に対するロバストさが出現した 本稿では,頑健な学習によって学習される表現の性質が,標準的非破壊的学習から得られた表現とどのように異なるかを理解することを目的とする。
  論文  参考訳（メタデータ） (2022-06-20T16:06:20Z)
• RobustART: Benchmarking Robustness on Architecture Design and Training Techniques [170.3297213957074]
  ディープニューラルネットワーク(DNN)は敵の雑音に弱い。 アーキテクチャ設計とトレーニングのテクニックが堅牢性にどのように影響するかに関する包括的な研究はない。 本稿では,ImageNet上での包括性調査ベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T08:01:14Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。