論文の概要: How explainable are adversarially-robust CNNs?

• arxiv url: http://arxiv.org/abs/2205.13042v1
• Date: Wed, 25 May 2022 20:24:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-28 12:09:58.864261
• Title: How explainable are adversarially-robust CNNs?
• Title（参考訳）: 敵のCNNはどの程度説明できるのか?
• Authors: Mehdi Nourelahi, Lars Kotthoff, Peijie Chen, Anh Nguyen
• Abstract要約: 既存の畳み込みニューラルネットワーク(CNN)の3つの重要な基準は、(1)テストセット精度、(2)アウト・オブ・ディストリビューション精度、(3)説明可能性である。 そこで我々は,9つの特徴重要度法と12のイメージネット学習CNNを用いて,3つの基準の関係を大規模に評価する。
• 参考スコア（独自算出の注目度）: 7.143109213647008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Three important criteria of existing convolutional neural networks (CNNs) are (1) test-set accuracy; (2) out-of-distribution accuracy; and (3) explainability. While these criteria have been studied independently, their relationship is unknown. For example, do CNNs that have a stronger out-of-distribution performance have also stronger explainability? Furthermore, most prior feature-importance studies only evaluate methods on 2-3 common vanilla ImageNet-trained CNNs, leaving it unknown how these methods generalize to CNNs of other architectures and training algorithms. Here, we perform the first, large-scale evaluation of the relations of the three criteria using 9 feature-importance methods and 12 ImageNet-trained CNNs that are of 3 training algorithms and 5 CNN architectures. We find several important insights and recommendations for ML practitioners. First, adversarially robust CNNs have a higher explainability score on gradient-based attribution methods (but not CAM-based or perturbation-based methods). Second, AdvProp models, despite being highly accurate more than both vanilla and robust models alone, are not superior in explainability. Third, among 9 feature attribution methods tested, GradCAM and RISE are consistently the best methods. Fourth, Insertion and Deletion are biased towards vanilla and robust models respectively, due to their strong correlation with the confidence score distributions of a CNN. Fifth, we did not find a single CNN to be the best in all three criteria, which interestingly suggests that CNNs are harder to interpret as they become more accurate.
• Abstract（参考訳）: 既存の畳み込みニューラルネットワーク(cnns)の重要な3つの基準は、(1)テストセット精度、(2)分散精度、(3)説明可能性である。 これらの基準は独立して研究されているが、それらの関係は不明である。 例えば、ディストリビューション性能の強いCNNにも、より強力な説明性があるのでしょうか? さらに、以前の機能重要度調査では、2-3の一般的なバニライメージネット訓練CNNの手法しか評価されておらず、これらの手法が他のアーキテクチャやトレーニングアルゴリズムのCNNにどのように一般化されるかは分かっていない。 ここでは,3つのトレーニングアルゴリズムと5つのCNNアーキテクチャからなる9つの特徴重要度法と12のImageNet学習CNNを用いて,3つの基準の関係を大規模に評価する。 ml実践者にとって重要な洞察とアドバイスがいくつかあります。 第一に、逆ロバストなcnnは、勾配に基づく帰属法(cam法や摂動法ではなく)で説明可能性スコアが高い。 第二に、advpropモデルはバニラモデルとロバストモデルの両方よりも精度が高いにもかかわらず、説明可能性に優れていない。 第3に、9つの特徴属性法のうち、GradCAMとRISEは一貫して最良の方法である。 第4に、cnnの信頼度スコア分布と強い相関があるため、挿入と削除はそれぞれバニラモデルとロバストモデルに偏りがある。 5つ目は、CNNが3つの基準の中で最高であるとは見つからなかったことですが、興味深いことに、CNNはより正確になるにつれて解釈するのが難しくなっています。

関連論文リスト

• Robust Mixture-of-Expert Training for Convolutional Neural Networks [141.3531209949845]
  スパースゲート型Mixture of Expert (MoE) は高精度で超効率的なモデル推論を実現するための大きな可能性を実証している。 本稿では、AdvMoEと呼ばれるMoEのための新しいルータ-エキスパート交互学習フレームワークを提案する。 その結果,AdvMoEは従来の高密度CNNに比べて1%の対向ロバスト性向上を実現し,親和性に富むMoEの有効性を享受できることがわかった。
  論文  参考訳（メタデータ） (2023-08-19T20:58:21Z)
• Understanding CNN Fragility When Learning With Imbalanced Data [1.1444576186559485]
  畳み込みニューラルネットワーク(CNN)は、不均衡な画像データに対して印象的な結果を得たが、それでも少数派に一般化することは困難である。 我々は、不均衡なデータに基づいてCNNの決定をデミスティフィケートする、彼らの潜在機能に焦点を当てる。 ニューラルネットワークがマイノリティクラスに一般化する能力に関する重要な情報は、クラストップKCEとFEに存在することを示す。
  論文  参考訳（メタデータ） (2022-10-17T22:40:06Z)
• Patching Weak Convolutional Neural Network Models through Modularization and Composition [19.986199290508925]
  分類タスクのための畳み込みニューロンネットワーク(CNN)モデルは、しばしば不満足に機能する。 圧縮モジュラー化手法であるCNNSplitterを提案し、$N$クラス分類のための強力なCNNモデルを$N$より小さなCNNモジュールに分解する。 CNNSplitterは、モジュール化と構成により弱いCNNモデルにパッチを適用できることを示し、ロバストなCNNモデルを開発するための新しいソリューションを提供する。
  論文  参考訳（メタデータ） (2022-09-11T15:26:16Z)
• Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer [2.026424957803652]
  畳み込みニューラルネットワーク(CNN)がオブジェクト認識においてより正確になるにつれて、それらの表現は霊長類の視覚システムとよりよく似ている。 この問題に対処する以前の試みは、正規化法の制限により、精度が極端に向上した。 我々は,CNNのイメージ表現とサル視覚野との類似性を最適化するために,ディープ相関解析(DCCA)を用いた新しいCNN用ニューラルデータ正規化器を開発した。
  論文  参考訳（メタデータ） (2022-09-06T15:40:39Z)
• Exploring Adversarial Examples and Adversarial Robustness of Convolutional Neural Networks by Mutual Information [44.841339443764696]
  本研究では,情報抽出における2種類の畳み込みニューラルネットワーク(CNN)の類似性と相違について検討する。 敵対的な例がCNNを誤解させた理由は、それらが他のカテゴリに関するテクスチャベースの情報を含んでいるからかもしれない。 通常訓練されたCNNは入力からテクスチャベースの情報を抽出する傾向があり、逆学習されたモデルは形状ベースの情報を好む。
  論文  参考訳（メタデータ） (2022-07-12T13:25:42Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• CIFS: Improving Adversarial Robustness of CNNs via Channel-wise Importance-based Feature Selection [186.34889055196925]
  本稿では,チャネルワイドアクティベーションの観点から,CNNの対角的ロバスト性について検討する。 我々は,敵対的学習(AT)がCNNのチャネルワイドなアクティベーションと自然的データとを一致させることで,CNNの信頼性を高めることを観察した。 我々は、新しいメカニズム、すなわち、アンダーラインChannel-wise Underline Importance-based UnderlineFeature UnderlineSelection (CIFS)を導入する。
  論文  参考訳（メタデータ） (2021-02-10T08:16:43Z)
• The shape and simplicity biases of adversarially robust ImageNet-trained CNNs [9.707679445925516]
  本稿では,AlexNet,GoogLeNet,ResNet-50モデルの汎用性を実現するための形状バイアスと内部機構について検討する。 興味深いことに、敵の訓練はCNNの「不正化」過程において隠れたニューロンに3つの単純バイアスを誘導する。
  論文  参考訳（メタデータ） (2020-06-16T16:38:16Z)
• A Systematic Evaluation: Fine-Grained CNN vs. Traditional CNN Classifiers [54.996358399108566]
  本稿では,大規模分類データセット上でトップノーチ結果を示すランドマーク一般的なCNN分類器の性能について検討する。 最先端のきめ細かい分類器と比較する。 実験において, 粒度の細かい分類器がベースラインを高められるかどうかを判定するために, 6つのデータセットについて広範囲に評価する。
  論文  参考訳（メタデータ） (2020-03-24T23:49:14Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。