論文の概要: Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2009.08435v6
- Date: Sun, 15 Aug 2021 10:31:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:17:13.778034
- Title: Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
- Title（参考訳）: CNN層の大きなノルムは、対向ロバスト性を損なわない
- Authors: Youwei Liang, Dong Huang
- Abstract要約: 畳み込みニューラルネットワーク(CNN)のリプシッツ特性は、敵の強靭性と関連していると考えられている。
本稿では,畳み込み層と完全連結層のノルムを効果的に低減できるノルム崩壊という新しい正規化手法を提案する。
実験により、ノルム崩壊、重み劣化、特異値クリッピングを含むノルム正規化法がCNNの一般化を改善することが示されている。
- 参考スコア（独自算出の注目度）: 11.930096161524407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since the Lipschitz properties of convolutional neural networks (CNNs) are
widely considered to be related to adversarial robustness, we theoretically
characterize the $\ell_1$ norm and $\ell_\infty$ norm of 2D multi-channel
convolutional layers and provide efficient methods to compute the exact
$\ell_1$ norm and $\ell_\infty$ norm. Based on our theorem, we propose a novel
regularization method termed norm decay, which can effectively reduce the norms
of convolutional layers and fully-connected layers. Experiments show that
norm-regularization methods, including norm decay, weight decay, and singular
value clipping, can improve generalization of CNNs. However, they can slightly
hurt adversarial robustness. Observing this unexpected phenomenon, we compute
the norms of layers in the CNNs trained with three different adversarial
training frameworks and surprisingly find that adversarially robust CNNs have
comparable or even larger layer norms than their non-adversarially robust
counterparts. Furthermore, we prove that under a mild assumption, adversarially
robust classifiers can be achieved using neural networks, and an adversarially
robust neural network can have an arbitrarily large Lipschitz constant. For
this reason, enforcing small norms on CNN layers may be neither necessary nor
effective in achieving adversarial robustness. The code is available at
https://github.com/youweiliang/norm_robustness.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)のリプシッツ特性は敵の強靭性と関連していると考えられており、理論的には2次元多チャンネル畳み込み層の$\ell_1$ノルムと$\ell_\infty$ノルムを特徴づけ、正確な$\ell_1$ノルムと$\ell_\infty$ノルムを計算する効率的な方法を提供する。
本定理に基づき,畳み込み層と完全連結層のノルムを効果的に低減できる,ノルム減衰と呼ばれる新しい正規化法を提案する。
実験により、ノルム崩壊、重み劣化、特異値クリッピングを含むノルム正規化法がCNNの一般化を改善することが示されている。
しかし、敵の強固さを少し損なうこともある。
この予期せぬ現象を目の当たりにし、3つの異なる敵のトレーニングフレームワークで訓練されたCNNのレイヤーの規範を計算し、敵に頑丈なCNNが、非敵のロバストな標準と同等あるいはそれ以上大きなレイヤーのノルムを持っていることを発見した。
さらに、弱い仮定の下では、ニューラルネットワークを用いて逆堅牢な分類が可能であり、逆堅牢なニューラルネットワークは任意に大きなリプシッツ定数を持つことができることを示す。
このため、CNN層上の小さなノルムを強制することは、敵の堅牢性を達成するために必要でも有効でもない。
コードはhttps://github.com/youweiliang/norm_robustnessで入手できる。
関連論文リスト
- Decoupled Weight Decay for Any $p$ Norm [1.1510009152620668]
トレーニング中の正規化に$L_p$のブリッジをベースとした,スパーシフィケーションに対する単純かつ効果的なアプローチを検討する。
我々は、標準の$L$重み崩壊を任意の$p$ノルムに一般化する新しい重み崩壊スキームを導入する。
標準的な$L$正規化に匹敵する性能を維持しながら、非常に疎結合なネットワークにつながることを実証的に実証した。
論文 参考訳（メタデータ） (2024-04-16T18:02:15Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。
CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文 参考訳（メタデータ） (2021-10-25T07:12:53Z) - Improving Network Slimming with Nonconvex Regularization [8.017631543721684]
畳み込みニューラルネットワーク(CNN)は、様々なコンピュータビジョンタスクの強力なモデルとなるために開発された。
最先端のCNNの多くは直接デプロイすることはできない。
CNNを圧縮する簡単な方法が提案されている。
論文 参考訳（メタデータ） (2020-10-03T01:04:02Z) - On Lipschitz Regularization of Convolutional Layers using Toeplitz
Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。
ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。
より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文 参考訳（メタデータ） (2020-06-15T13:23:34Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。