論文の概要: Skew Orthogonal Convolutions

• arxiv url: http://arxiv.org/abs/2105.11417v1
• Date: Mon, 24 May 2021 17:11:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 17:36:00.391737
• Title: Skew Orthogonal Convolutions
• Title（参考訳）: Skew Orthogonal Convolutions
• Authors: Sahil Singla and Soheil Feizi
• Abstract要約: Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。 Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 44.053067014796596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training convolutional neural networks with a Lipschitz constraint under the $l_{2}$ norm is useful for provable adversarial robustness, interpretable gradients, stable training, etc. While 1-Lipschitz networks can be designed by imposing a 1-Lipschitz constraint on each layer, training such networks requires each layer to be gradient norm preserving (GNP) to prevent gradients from vanishing. However, existing GNP convolutions suffer from slow training, lead to significant reduction in accuracy and provide no guarantees on their approximations. In this work, we propose a GNP convolution layer called \methodnamebold\ (\methodabv) that uses the following mathematical property: when a matrix is {\it Skew-Symmetric}, its exponential function is an {\it orthogonal} matrix. To use this property, we first construct a convolution filter whose Jacobian is Skew-Symmetric. Then, we use the Taylor series expansion of the Jacobian exponential to construct the \methodabv\ layer that is orthogonal. To efficiently implement \methodabv, we keep a finite number of terms from the Taylor series and provide a provable guarantee on the approximation error. Our experiments on CIFAR-10 and CIFAR-100 show that \methodabv\ allows us to train provably Lipschitz, large convolutional neural networks significantly faster than prior works while achieving significant improvements for both standard and certified robust accuracies.
• Abstract（参考訳）: Lipschitzの制約による畳み込みニューラルネットワークのトレーニングは、証明可能な対向的堅牢性、解釈可能な勾配、安定したトレーニングなどに有用である。 1-Lipschitzネットワークは、各層に1-Lipschitz制約を課すことで設計できるが、そのようなネットワークをトレーニングするには、勾配が消えるのを防ぐために、各層が勾配標準保存(GNP)が必要である。 しかし、既存のGNP畳み込みは訓練の遅さに悩まされ、精度を大幅に低下させ、近似に保証を与えない。 本研究では、行列が {\it Skew-Symmetric} であるとき、その指数関数は {\it orthogonal} 行列である、という数学的性質を用いた GNP 畳み込み層である 'methodnamebold\ (\methoddabv) を提案する。 この特性を利用するために、まずジャコビアンがスキュー対称である畳み込みフィルタを構築する。 次に、ヤコビアン指数関数のテイラー級数展開を用いて直交である \methodabv\ 層を構成する。 methodabvを効率的に実装するために、テイラー級数から有限個の項を保持し、近似誤差の証明可能な保証を与える。 CIFAR-10 と CIFAR-100 を用いた実験により,既成のリプシッツ,大規模な畳み込みニューラルネットワークを従来よりも大幅に高速に学習し,精度の高い精度と信頼性の高い精度を両立させることができた。

関連論文リスト

• LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
  本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。 提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。 提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:20:14Z)
• Spectral Norm of Convolutional Layers with Circular and Zero Paddings [55.233197272316275]
  畳み込み層をゼロにするためのGramの反復法を一般化し、その二次収束を証明した。 また、円と零のパッドド・コンボリューションのスペクトルノルムのギャップを埋めるための定理も提供する。
  論文  参考訳（メタデータ） (2024-01-31T23:48:48Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• A Stochastic Proximal Method for Nonsmooth Regularized Finite Sum Optimization [7.014966911550542]
  スパースサブ構造を検索するために,非滑らかな正規化を伴うディープニューラルネットワークをトレーニングする問題を考察する。 我々は、収束と最悪のケースの複雑さが勾配のリプシッツ定数の知識や近似なしで確立されるSR2と呼ばれる新しい解法を導出する。 CIFAR-10とCIFAR-100で訓練されたネットワークインスタンスの実験により、SR2はProxGENやProxSGDのような関連する手法よりも常に高い空間性と精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-14T00:28:44Z)
• Householder Activations for Provable Robustness against Adversarial Attacks [37.289891549908596]
  l_2ノルムの下で厳密なリプシッツ制約を持つ畳み込みニューラルネットワーク(CNN)の訓練は、証明可能な対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 本稿では,学習可能な家事変換を用いた非線型GNPアクティベーションのクラスについて紹介する。 CIFAR-10 と CIFAR-100 を用いた実験により,mathrmHH$ 活性化による正規化ネットワークは,標準精度と信頼性の両面で有意な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-08-05T12:02:16Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。