論文の概要: CIFS: Improving Adversarial Robustness of CNNs via Channel-wise Importance-based Feature Selection

• arxiv url: http://arxiv.org/abs/2102.05311v1
• Date: Wed, 10 Feb 2021 08:16:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 14:47:22.141181
• Title: CIFS: Improving Adversarial Robustness of CNNs via Channel-wise Importance-based Feature Selection
• Title（参考訳）: CIFS:Channel-wise importance-based feature selectionによるCNNの対比ロバスト性向上
• Authors: Hanshu Yan, Jingfeng Zhang, Gang Niu, Jiashi Feng, Vincent Y. F. Tan, Masashi Sugiyama
• Abstract要約: 本稿では,チャネルワイドアクティベーションの観点から,CNNの対角的ロバスト性について検討する。 我々は,敵対的学習(AT)がCNNのチャネルワイドなアクティベーションと自然的データとを一致させることで,CNNの信頼性を高めることを観察した。 我々は、新しいメカニズム、すなわち、アンダーラインChannel-wise Underline Importance-based UnderlineFeature UnderlineSelection (CIFS)を導入する。
• 参考スコア（独自算出の注目度）: 186.34889055196925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the adversarial robustness of CNNs from the perspective of channel-wise activations. By comparing \textit{non-robust} (normally trained) and \textit{robustified} (adversarially trained) models, we observe that adversarial training (AT) robustifies CNNs by aligning the channel-wise activations of adversarial data with those of their natural counterparts. However, the channels that are \textit{negatively-relevant} (NR) to predictions are still over-activated when processing adversarial data. Besides, we also observe that AT does not result in similar robustness for all classes. For the robust classes, channels with larger activation magnitudes are usually more \textit{positively-relevant} (PR) to predictions, but this alignment does not hold for the non-robust classes. Given these observations, we hypothesize that suppressing NR channels and aligning PR ones with their relevances further enhances the robustness of CNNs under AT. To examine this hypothesis, we introduce a novel mechanism, i.e., \underline{C}hannel-wise \underline{I}mportance-based \underline{F}eature \underline{S}election (CIFS). The CIFS manipulates channels' activations of certain layers by generating non-negative multipliers to these channels based on their relevances to predictions. Extensive experiments on benchmark datasets including CIFAR10 and SVHN clearly verify the hypothesis and CIFS's effectiveness of robustifying CNNs.
• Abstract（参考訳）: CNNの対比ロバスト性についてチャネルワイズアクティベーションの視点から検討する。 また, 対人訓練(AT)は, 対人学習モデルと対人学習モデルを比較することにより, 対人学習(AT)がCNNを強固にし, 対人学習データのチャネルワイドなアクティベーションを自然なものと整合させることを観察する。 しかしながら、予測に対するtextit{ negatively-relevant} (NR) チャネルは、逆データを処理する際にはまだ過剰に活性化される。 さらに、ATが全てのクラスに対して同様の堅牢性をもたらすわけではないことも観察する。 ロバストなクラスでは、アクティベーションの大きさが大きいチャネルは通常、予測に対してより \textit{ positively-relevant} (pr) であるが、このアライメントはロバストでないクラスには成立しない。 これらの観測から、NRチャンネルの抑制とPRチャンネルの関連性との整合が、ATのCNNの堅牢性をさらに高めると仮定した。 この仮説を調べるために、新しいメカニズム、すなわち \underline{C}hannel-wise \underline{I}mportance-based \underline{F}eature \underline{S}election (CIFS) を導入する。 CIFSは、予測との関連性に基づいて、これらのチャネルに対する非負の乗算子を生成することによって、特定の層のチャネルの活性化を操作する。 CIFAR10やSVHNなどのベンチマークデータセットに関する広範な実験は、CNNの堅牢化の仮説とCIFSの有効性を明確に検証する。

関連論文リスト

• Evaluating Adversarial Robustness in the Spatial Frequency Domain [13.200404022208858]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンタスクの大部分を占めてきた。 敵攻撃に対するCNNの脆弱性は、これらのモデルを安全クリティカルなアプリケーションにデプロイすることを懸念している。 本稿では,周波数領域におけるCNNモデルの脆弱性を探索する実験的検討を行う。
  論文  参考訳（メタデータ） (2024-05-10T09:20:47Z)
• Latent Feature Relation Consistency for Adversarial Robustness [80.24334635105829]
  深層ニューラルネットワークは、人間の知覚できない敵のノイズを自然の例に付加する敵の例を予測するときに、誤分類が起こる。 textbfLatent textbfFeature textbfRelation textbfConsistency (textbfLFRC)を提案する。 LFRCは、潜在空間における逆例の関係を、自然例と整合性に制約する。
  論文  参考訳（メタデータ） (2023-03-29T13:50:01Z)
• Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer [2.026424957803652]
  畳み込みニューラルネットワーク(CNN)がオブジェクト認識においてより正確になるにつれて、それらの表現は霊長類の視覚システムとよりよく似ている。 この問題に対処する以前の試みは、正規化法の制限により、精度が極端に向上した。 我々は,CNNのイメージ表現とサル視覚野との類似性を最適化するために,ディープ相関解析(DCCA)を用いた新しいCNN用ニューラルデータ正規化器を開発した。
  論文  参考訳（メタデータ） (2022-09-06T15:40:39Z)
• The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network [69.54809052377189]
  近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。 a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
  論文  参考訳（メタデータ） (2022-07-16T07:08:59Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Group-wise Inhibition based Feature Regularization for Robust Classification [21.637459331646088]
  バニラ畳み込みニューラルネットワーク(CNN)は、小さなバリエーションの画像に対して脆弱です。 グループワイド阻害によるバニラCNNの活性化値を動的に抑制することを提案する。 また,提案手法は,敵の訓練など他の防御パラダイムを補完することを示す。
  論文  参考訳（メタデータ） (2021-03-03T03:19:32Z)
• Extreme Value Preserving Networks [65.2037926048262]
  最近の証拠は、畳み込みニューラルネットワーク(CNN)がテクスチャに偏りがあることを示しており、CNNはテクスチャに逆らう摂動に対して損なわれない。 本稿では,SIFTの優れた特性を活用してCNNアーキテクチャを改良し,精度と堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2020-11-17T02:06:52Z)
• Enhancing Intrinsic Adversarial Robustness via Feature Pyramid Decoder [11.701729403940798]
  本稿では,ニューラルネットワークの本質的堅牢性を高めるための攻撃非依存型防御フレームワークを提案する。 私たちのフレームワークは、すべてのブロックベースの畳み込みニューラルネットワーク(CNN)に適用されます。
  論文  参考訳（メタデータ） (2020-05-06T01:40:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。