論文の概要: Improved techniques for deterministic l2 robustness

• arxiv url: http://arxiv.org/abs/2211.08453v1
• Date: Tue, 15 Nov 2022 19:10:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 15:58:54.628101
• Title: Improved techniques for deterministic l2 robustness
• Title（参考訳）: 決定論的l2ロバスト性向上技術
• Authors: Sahil Singla, Soheil Feizi
• Abstract要約: 畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
• 参考スコア（独自算出の注目度）: 63.34032156196848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training convolutional neural networks (CNNs) with a strict 1-Lipschitz constraint under the $l_{2}$ norm is useful for adversarial robustness, interpretable gradients and stable training. 1-Lipschitz CNNs are usually designed by enforcing each layer to have an orthogonal Jacobian matrix (for all inputs) to prevent the gradients from vanishing during backpropagation. However, their performance often significantly lags behind that of heuristic methods to enforce Lipschitz constraints where the resulting CNN is not \textit{provably} 1-Lipschitz. In this work, we reduce this gap by introducing (a) a procedure to certify robustness of 1-Lipschitz CNNs by replacing the last linear layer with a 1-hidden layer MLP that significantly improves their performance for both standard and provably robust accuracy, (b) a method to significantly reduce the training time per epoch for Skew Orthogonal Convolution (SOC) layers (>30\% reduction for deeper networks) and (c) a class of pooling layers using the mathematical property that the $l_{2}$ distance of an input to a manifold is 1-Lipschitz. Using these methods, we significantly advance the state-of-the-art for standard and provable robust accuracies on CIFAR-10 (gains of +1.79\% and +3.82\%) and similarly on CIFAR-100 (+3.78\% and +4.75\%) across all networks. Code is available at \url{https://github.com/singlasahil14/improved_l2_robustness}.
• Abstract（参考訳）: l_{2}$ノルムの下で厳格な1-リプシッツ制約を持つトレーニング畳み込みニューラルネットワーク(cnns)は、敵対的堅牢性、解釈可能な勾配、安定したトレーニングに有用である。 1-リプシッツcnnは通常、各層を直交ヤコビ行列(全ての入力に対して)を持つように強制して、逆プロパゲーション中に勾配が消えないように設計されている。 しかし、それらの性能は、結果のCNNがtextit{provably} 1-Lipschitzでないリプシッツ制約を強制するヒューリスティックメソッドよりも著しく遅れることが多い。 この作業では、導入によってこのギャップを減らします。 (a) 1-Lipschitz CNNのロバスト性を証明する手順は、最終線形層を 1-Hdden 層 MLP に置き換えることにより、標準的かつ確実にロバストな精度で性能を著しく向上させる。 (b)スキュー直交畳み込み(SOC)層におけるエポック当たりのトレーニング時間を著しく短縮する手法(より深いネットワークでは>30\%削減)と (c) 多様体への入力の$l_{2}$距離が 1-Lipschitz であるという数学的性質を用いたプール層のクラス。 これらの手法を用いることで、CIFAR-10(+1.79\%および+3.82\%)およびCIFAR-100(+3.78\%および+4.75\%)の標準および証明可能な堅牢な精度を著しく向上させる。 コードは \url{https://github.com/singlasahil14/improved_l2_robustness} で入手できる。

関連論文リスト

• A Proximal Algorithm for Network Slimming [2.8148957592979427]
  畳み込みニューラルネットワーク(CNN)の一般的なチャネルプルーニング法は、CNNの訓練に段階的な降下を用いる。 我々は、CNNをスパースで正確な構造に向けて訓練するための、近位NSと呼ばれる代替アルゴリズムを開発した。 実験の結果,1ラウンドのトレーニングの後,近位NSは競争精度と圧縮性を備えたCNNが得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-02T23:34:12Z)
• Almost-Orthogonal Layers for Efficient General-Purpose Lipschitz Networks [23.46030810336596]
  我々は小さなリプシッツ定数を持つディープネットワークを構築するための新しい手法を提案する。 リプシッツ定数の形式的な保証を提供し、実装が容易で、実行が効率的であり、任意のトレーニング目標と最適化メソッドと組み合わせることができる。 画像分類の文脈における実験とアブレーション研究により、AOL層が既存のほとんどの手法と同等の結果を得ることを確認した。
  論文  参考訳（メタデータ） (2022-08-05T13:34:33Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• Householder Activations for Provable Robustness against Adversarial Attacks [37.289891549908596]
  l_2ノルムの下で厳密なリプシッツ制約を持つ畳み込みニューラルネットワーク(CNN)の訓練は、証明可能な対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 本稿では,学習可能な家事変換を用いた非線型GNPアクティベーションのクラスについて紹介する。 CIFAR-10 と CIFAR-100 を用いた実験により,mathrmHH$ 活性化による正規化ネットワークは,標準精度と信頼性の両面で有意な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-08-05T12:02:16Z)
• Skew Orthogonal Convolutions [44.053067014796596]
  Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。 Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-05-24T17:11:44Z)
• Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
  過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。 以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T00:32:12Z)
• Large Norms of CNN Layers Do Not Hurt Adversarial Robustness [11.930096161524407]
  畳み込みニューラルネットワーク(CNN)のリプシッツ特性は、敵の強靭性と関連していると考えられている。 本稿では,畳み込み層と完全連結層のノルムを効果的に低減できるノルム崩壊という新しい正規化手法を提案する。 実験により、ノルム崩壊、重み劣化、特異値クリッピングを含むノルム正規化法がCNNの一般化を改善することが示されている。
  論文  参考訳（メタデータ） (2020-09-17T17:33:50Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。