論文の概要: Spectral Norm of Convolutional Layers with Circular and Zero Paddings

• arxiv url: http://arxiv.org/abs/2402.00240v1
• Date: Wed, 31 Jan 2024 23:48:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 17:16:56.379711
• Title: Spectral Norm of Convolutional Layers with Circular and Zero Paddings
• Title（参考訳）: 円パディングおよび零パディングを有する畳み込み層のスペクトルノルム
• Authors: Blaise Delattre and Quentin Barth\'elemy and Alexandre Allauzen
• Abstract要約: 畳み込み層をゼロにするためのGramの反復法を一般化し、その二次収束を証明した。 また、円と零のパッドド・コンボリューションのスペクトルノルムのギャップを埋めるための定理も提供する。
• 参考スコア（独自算出の注目度）: 55.233197272316275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper leverages the use of \emph{Gram iteration} an efficient, deterministic, and differentiable method for computing spectral norm with an upper bound guarantee. Designed for circular convolutional layers, we generalize the use of the Gram iteration to zero padding convolutional layers and prove its quadratic convergence. We also provide theorems for bridging the gap between circular and zero padding convolution's spectral norm. We design a \emph{spectral rescaling} that can be used as a competitive $1$-Lipschitz layer that enhances network robustness. Demonstrated through experiments, our method outperforms state-of-the-art techniques in precision, computational cost, and scalability. The code of experiments is available at https://github.com/blaisedelattre/lip4conv.
• Abstract（参考訳）: 本稿では, スペクトルノルムを上界保証付きで計算するための, 効率的かつ決定論的, 微分可能な手法である \emph{Gram iteration} を利用する。 円錐畳み込み層のために設計され,Gram の反復法をパッド状畳み込み層ゼロに一般化し,その二次収束性を証明する。 また、円と零パディング畳み込みのスペクトルノルムのギャップを埋めるための定理も提供する。 私たちは、ネットワークの堅牢性を高める1ドルのリプシッツ層として使用できる \emph{spectral rescaling} を設計します。 実験によって実証された本手法は, 精度, 計算コスト, スケーラビリティにおいて最先端技術より優れている。 実験のコードはhttps://github.com/blaisedelattre/lip4convで入手できる。

関連論文リスト

• Single Point-Based Distributed Zeroth-Order Optimization with a Non-Convex Stochastic Objective Function [14.986031916712108]
  勾配追跡手法の一点推定に基づくゼロ階分散最適化手法を提案する。 我々は,この手法が雑音条件下で数値関数と収束することを証明した。
  論文  参考訳（メタデータ） (2024-10-08T11:45:45Z)
• Spectrum Extraction and Clipping for Implicitly Linear Layers [20.277446818410997]
  暗黙的に線形作用素のスペクトルを効率よく正確に計算し、制御する上で、自動微分の有効性を示す。 一般的な畳み込み層に対して正しい第1の切り抜き法を提案する。
  論文  参考訳（メタデータ） (2024-02-25T07:28:28Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Learning Sparse Graph with Minimax Concave Penalty under Gaussian Markov Random Fields [51.07460861448716]
  本稿では,データから学ぶための凸解析フレームワークを提案する。 三角凸分解はその上部に対応する変換によって保証されることを示す。
  論文  参考訳（メタデータ） (2021-09-17T17:46:12Z)
• Skew Orthogonal Convolutions [44.053067014796596]
  Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。 Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-05-24T17:11:44Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。