論文の概要: Sparta: Spatially Attentive and Adversarially Robust Activation
- arxiv url: http://arxiv.org/abs/2105.08269v1
- Date: Tue, 18 May 2021 04:36:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-19 14:13:44.301220
- Title: Sparta: Spatially Attentive and Adversarially Robust Activation
- Title（参考訳）: sparta:空間的注意と敵対的ロバストな活性化
- Authors: Qing Guo, Felix Juefei-Xu, Changqing Zhou, Yang Liu, Song Wang
- Abstract要約: 我々は,ロバストcnnにおける基本relu活性化成分の役割について検討した。
ReLUアクティベーションの空間共有および入力非依存性により、CNNはホワイトボックスの敵対攻撃に対する堅牢性が低下する。
この問題を解決するため、ReLUを新しいSpartaアクティベーション関数に拡張します。
- 参考スコア（独自算出の注目度）: 17.021748192532964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training (AT) is one of the most effective ways for improving the
robustness of deep convolution neural networks (CNNs). Just like common network
training, the effectiveness of AT relies on the design of basic network
components. In this paper, we conduct an in-depth study on the role of the
basic ReLU activation component in AT for robust CNNs. We find that the
spatially-shared and input-independent properties of ReLU activation make CNNs
less robust to white-box adversarial attacks with either standard or
adversarial training. To address this problem, we extend ReLU to a novel Sparta
activation function (Spatially attentive and Adversarially Robust Activation),
which enables CNNs to achieve both higher robustness, i.e., lower error rate on
adversarial examples, and higher accuracy, i.e., lower error rate on clean
examples, than the existing state-of-the-art (SOTA) activation functions. We
further study the relationship between Sparta and the SOTA activation
functions, providing more insights about the advantages of our method. With
comprehensive experiments, we also find that the proposed method exhibits
superior cross-CNN and cross-dataset transferability. For the former, the
adversarially trained Sparta function for one CNN (e.g., ResNet-18) can be
fixed and directly used to train another adversarially robust CNN (e.g.,
ResNet-34). For the latter, the Sparta function trained on one dataset (e.g.,
CIFAR-10) can be employed to train adversarially robust CNNs on another dataset
(e.g., SVHN). In both cases, Sparta leads to CNNs with higher robustness than
the vanilla ReLU, verifying the flexibility and versatility of the proposed
method.
- Abstract（参考訳）: 敵対的トレーニング(AT)は、深層畳み込みニューラルネットワーク(CNN)の堅牢性を改善する最も効果的な方法の1つである。
一般的なネットワークトレーニングと同じように、atの有効性は基本的なネットワークコンポーネントの設計に依存する。
本稿では,AT における強靭性 CNN における基本 ReLU 活性化成分の役割について,詳細な研究を行う。
ReLUアクティベーションの空間的共有性および入力非依存性により、CNNは標準的あるいは逆的トレーニングによるホワイトボックス攻撃に対してより堅牢であることがわかった。
この問題に対処するため、我々はReLUを新しいSpartaアクティベーション関数(Spatially Attentive and Adversarially Robust Activation)に拡張し、CNNがより高いロバスト性、すなわち、敵の事例におけるエラー率、そしてより高い精度、すなわちクリーンな例におけるエラー率、すなわち既存の最先端(SOTA)アクティベーション関数よりも高い精度を実現する。
さらに, Sparta と SOTA 活性化関数の関係について検討し, 本手法の利点について考察した。
包括的な実験により,提案手法が優れたクロスcnnおよびクロスデータセット転送性を示すことがわかった。
前者の場合、1つのCNN(例えばResNet-18)に対して逆向きに訓練されたSparta関数を固定し、他のCNN(例えばResNet-34)をトレーニングするために直接使用することができる。
後者では、あるデータセット(例えば、CIFAR-10)でトレーニングされたSparta関数を使用して、別のデータセット(例えば、SVHN)で敵対的に堅牢なCNNをトレーニングすることができる。
どちらの場合も、SpartaはバニラReLUよりも堅牢性が高く、提案手法の柔軟性と汎用性を検証する。
関連論文リスト
- The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural
Network [69.54809052377189]
近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。
a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
論文 参考訳（メタデータ） (2022-07-16T07:08:59Z) - Exploring Adversarial Examples and Adversarial Robustness of
Convolutional Neural Networks by Mutual Information [44.841339443764696]
本研究では,情報抽出における2種類の畳み込みニューラルネットワーク(CNN)の類似性と相違について検討する。
敵対的な例がCNNを誤解させた理由は、それらが他のカテゴリに関するテクスチャベースの情報を含んでいるからかもしれない。
通常訓練されたCNNは入力からテクスチャベースの情報を抽出する傾向があり、逆学習されたモデルは形状ベースの情報を好む。
論文 参考訳（メタデータ） (2022-07-12T13:25:42Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - Group-wise Inhibition based Feature Regularization for Robust
Classification [21.637459331646088]
バニラ畳み込みニューラルネットワーク(CNN)は、小さなバリエーションの画像に対して脆弱です。
グループワイド阻害によるバニラCNNの活性化値を動的に抑制することを提案する。
また,提案手法は,敵の訓練など他の防御パラダイムを補完することを示す。
論文 参考訳（メタデータ） (2021-03-03T03:19:32Z) - CIFS: Improving Adversarial Robustness of CNNs via Channel-wise
Importance-based Feature Selection [186.34889055196925]
本稿では,チャネルワイドアクティベーションの観点から,CNNの対角的ロバスト性について検討する。
我々は,敵対的学習(AT)がCNNのチャネルワイドなアクティベーションと自然的データとを一致させることで,CNNの信頼性を高めることを観察した。
我々は、新しいメカニズム、すなわち、アンダーラインChannel-wise Underline Importance-based UnderlineFeature UnderlineSelection (CIFS)を導入する。
論文 参考訳（メタデータ） (2021-02-10T08:16:43Z) - Extreme Value Preserving Networks [65.2037926048262]
最近の証拠は、畳み込みニューラルネットワーク(CNN)がテクスチャに偏りがあることを示しており、CNNはテクスチャに逆らう摂動に対して損なわれない。
本稿では,SIFTの優れた特性を活用してCNNアーキテクチャを改良し,精度と堅牢性を向上させることを目的とする。
論文 参考訳（メタデータ） (2020-11-17T02:06:52Z) - SPLASH: Learnable Activation Functions for Improving Accuracy and
Adversarial Robustness [8.16059648920805]
SPLASHユニットは、ディープニューラルネットワークの精度を同時に向上し、敵攻撃に対する堅牢性を向上させる。
他の9つの学習および固定されたアクティベーション関数と比較して、SPLASHユニットは3つのデータセット間で優れたパフォーマンスを示す。
ブラックボックス攻撃とオープンボックス攻撃の両方に対する実験により、SPLASHユニットはReLUの代わりにSPLASHユニットを使用することで、敵攻撃に対して最大31%の堅牢性が得られることが示された。
論文 参考訳（メタデータ） (2020-06-16T06:45:55Z) - Enhancing Intrinsic Adversarial Robustness via Feature Pyramid Decoder [11.701729403940798]
本稿では,ニューラルネットワークの本質的堅牢性を高めるための攻撃非依存型防御フレームワークを提案する。
私たちのフレームワークは、すべてのブロックベースの畳み込みニューラルネットワーク(CNN)に適用されます。
論文 参考訳（メタデータ） (2020-05-06T01:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。