論文の概要: Householder Activations for Provable Robustness against Adversarial
Attacks
- arxiv url: http://arxiv.org/abs/2108.04062v1
- Date: Thu, 5 Aug 2021 12:02:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-12 07:52:52.359311
- Title: Householder Activations for Provable Robustness against Adversarial
Attacks
- Title（参考訳）: 対人攻撃防止のための家庭内活動
- Authors: Sahil Singla, Surbhi Singla, Soheil Feizi
- Abstract要約: l_2ノルムの下で厳密なリプシッツ制約を持つ畳み込みニューラルネットワーク(CNN)の訓練は、証明可能な対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
本稿では,学習可能な家事変換を用いた非線型GNPアクティベーションのクラスについて紹介する。
CIFAR-10 と CIFAR-100 を用いた実験により,mathrmHH$ 活性化による正規化ネットワークは,標準精度と信頼性の両面で有意な改善をもたらすことが示された。
- 参考スコア（独自算出の注目度）: 37.289891549908596
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training convolutional neural networks (CNNs) with a strict Lipschitz
constraint under the l_{2} norm is useful for provable adversarial robustness,
interpretable gradients and stable training. While 1-Lipschitz CNNs can be
designed by enforcing a 1-Lipschitz constraint on each layer, training such
networks requires each layer to have an orthogonal Jacobian matrix (for all
inputs) to prevent gradients from vanishing during backpropagation. A layer
with this property is said to be Gradient Norm Preserving (GNP). To construct
expressive GNP activation functions, we first prove that the Jacobian of any
GNP piecewise linear function is only allowed to change via Householder
transformations for the function to be continuous. Building on this result, we
introduce a class of nonlinear GNP activations with learnable Householder
transformations called Householder activations. A householder activation
parameterized by the vector $\mathbf{v}$ outputs $(\mathbf{I} -
2\mathbf{v}\mathbf{v}^{T})\mathbf{z}$ for its input $\mathbf{z}$ if
$\mathbf{v}^{T}\mathbf{z} \leq 0$; otherwise it outputs $\mathbf{z}$. Existing
GNP activations such as $\mathrm{MaxMin}$ can be viewed as special cases of
$\mathrm{HH}$ activations for certain settings of these transformations. Thus,
networks with $\mathrm{HH}$ activations have higher expressive power than those
with $\mathrm{MaxMin}$ activations. Although networks with $\mathrm{HH}$
activations have nontrivial provable robustness against adversarial attacks, we
further boost their robustness by (i) introducing a certificate regularization
and (ii) relaxing orthogonalization of the last layer of the network. Our
experiments on CIFAR-10 and CIFAR-100 show that our regularized networks with
$\mathrm{HH}$ activations lead to significant improvements in both the standard
and provable robust accuracy over the prior works (gain of 3.65\% and 4.46\% on
CIFAR-100 respectively).
- Abstract（参考訳）: l_{2}ノルムの下で厳密なリプシッツ制約を持つ畳み込みニューラルネットワーク(CNN)の訓練は、証明可能な対向性、解釈可能な勾配、安定した訓練に有用である。
1-Lipschitz CNNは、各層に1-Lipschitz制約を課すことで設計できるが、そのようなネットワークのトレーニングでは、バックプロパゲーション中に勾配が消えるのを防ぐために、各層に直交のヤコビ行列(全ての入力に対して)を持つ必要がある。
この性質を持つ層はグラディエントノルム保存(GNP)と呼ばれる。
表現的 GNP 活性化関数を構成するために、まず、任意の GNP 個の線型関数のヤコビアンが連続となるためにハウスナー変換によってのみ変化することが証明される。
この結果に基づいて,学習可能な家事変換を用いた非線形GNPアクティベーションのクラスを紹介した。
ベクトル $\mathbf{v}$ でパラメータ化された家庭用の活性化は、入力 $\mathbf{z}$ if $\mathbf{v}^{T}\mathbf{z} \leq 0$ に対して$(\mathbf{I}2\mathbf{v}\mathbf{v}^{T})\mathbf{z}$ を出力し、そうでなければ$\mathbf{z}$ を出力する。
既存の GNP アクティベーション $\mathrm{MaxMin}$ は、これらの変換の特定の設定に対する $\mathrm{HH}$ アクティベーションの特別なケースと見なすことができる。
したがって、$\mathrm{HH}$ アクティベーションを持つネットワークは $\mathrm{MaxMin}$ アクティベーションを持つネットワークよりも表現力が高い。
$\mathrm{HH}$ アクティベーションを持つネットワークは、敵攻撃に対する非自明な証明可能なロバスト性を持っているが、 (i) 証明正則化を導入し、 (ii) ネットワークの最後の層の直交化を緩和することによって、それらのロバスト性をさらに強化する。
CIFAR-10 と CIFAR-100 を用いた実験により,CIFAR-100 上での標準および証明可能なロバスト精度(それぞれ 3.65 % と 4.46 % )の両性能向上が得られた。
関連論文リスト
- Deep Neural Network Initialization with Sparsity Inducing Activations [5.437298646956505]
広幅ガウス過程の限界を用いて、隠れ出力の空間性を引き起こす非線形活性化の挙動を解析する。
未報告のトレーニング不安定性は、隠蔽層スパリフィケーションの最も自然な候補の2つとして証明されている。
この不安定性は、関連するガウス過程の分散写像の形状によって規定されたレベルにおいて、非線形活性化度をクリップすることで克服されることを示す。
論文 参考訳（メタデータ） (2024-02-25T20:11:40Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Efficient Algorithms for Learning Depth-2 Neural Networks with General
ReLU Activations [27.244958998196623]
一般のReLUアクティベーションを用いた未知の深度2フィードフォワードニューラルネットワークを学習するための時間とサンプル効率のアルゴリズムを提案する。
特に、f(x) = amathsfTsigma(WmathsfTx+b)$, ここで$x$はガウス分布から引き出され、$sigma(t) := max(t,0)$はReLU活性化である。
論文 参考訳（メタデータ） (2021-07-21T17:06:03Z) - Skew Orthogonal Convolutions [44.053067014796596]
Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。
Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-05-24T17:11:44Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-22T00:32:12Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。