論文の概要: Tight and Efficient Upper Bound on Spectral Norm of Convolutional Layers

• arxiv url: http://arxiv.org/abs/2409.11859v1
• Date: Wed, 18 Sep 2024 10:28:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 18:09:15.073412
• Title: Tight and Efficient Upper Bound on Spectral Norm of Convolutional Layers
• Title（参考訳）: 畳み込み層のスペクトルノルムの厚さと有効上界
• Authors: Ekaterina Grishina, Mikhail Gorbunov, Maxim Rakhuba,
• Abstract要約: ヤコビ行列のスペクトルノルムの制御は、CNNの一般化、訓練安定性、堅牢性を改善することが示されている。 既存の計算法では、入力やカーネルのサイズが大きくなるにつれて、その性能が急速に悪化する傾向にある。 本稿では,4次元畳み込みカーネルのスペクトルノルムのテンソルバージョンが,畳み込み演算に関連するヤコビ行列のスペクトルノルムの上界として機能することを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controlling the spectral norm of the Jacobian matrix, which is related to the convolution operation, has been shown to improve generalization, training stability and robustness in CNNs. Existing methods for computing the norm either tend to overestimate it or their performance may deteriorate quickly with increasing the input and kernel sizes. In this paper, we demonstrate that the tensor version of the spectral norm of a four-dimensional convolution kernel, up to a constant factor, serves as an upper bound for the spectral norm of the Jacobian matrix associated with the convolution operation. This new upper bound is independent of the input image resolution, differentiable and can be efficiently calculated during training. Through experiments, we demonstrate how this new bound can be used to improve the performance of convolutional architectures.
• Abstract（参考訳）: 畳み込み演算に関連するヤコビ行列のスペクトルノルムの制御は、CNNの一般化、訓練安定性、堅牢性を改善することが示されている。 既存の計算法では、入力やカーネルのサイズが大きくなるにつれて、その性能が急速に悪化する傾向にある。 本稿では,4次元畳み込みカーネルのスペクトルノルムのテンソルバージョンが,畳み込み演算に関連するヤコビ行列のスペクトルノルムの上界として機能することを実証する。 この新たな上限は、入力画像解像度とは独立であり、微分可能であり、訓練中に効率的に計算することができる。 実験を通じて、この新たなバウンダリが、畳み込みアーキテクチャの性能向上にどのように役立つかを実証する。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Generalizing and Improving Jacobian and Hessian Regularization [1.926971915834451]
  対象行列をゼロから効率的な行列ベクトル積を持つ任意の行列に拡張することで、これまでの取り組みを一般化する。 提案されたパラダイムは、正方形ヤコビ行列とヘッセン行列に対称性や対角性を強制する新しい正規化項を構築することを可能にする。 本稿では、Laczosに基づくスペクトルノルム最小化を導入し、この問題に対処する。
  論文  参考訳（メタデータ） (2022-12-01T07:01:59Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Depthwise Separable Convolutions Allow for Fast and Memory-Efficient Spectral Normalization [1.1470070927586016]
  奥行き分離可能な畳み込みのスペクトル正規化の非常に単純な方法を提案する。 MobileNetV2 のような標準アーキテクチャを用いた画像分類タスクに対する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-02-12T12:55:42Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Asymptotic Singular Value Distribution of Linear Convolutional Layers [19.471693124432022]
  畳み込みニューラルネットワークでは、線形畳み込みを伴う畳み込み層の線形変換は2倍のToeplitzブロックを持つブロック行列である。 円形近似の精度を向上した単純な特異値近似法を開発した。 また,スペクトルノルム上限上限はResNetの一般化性能向上に有効なスペクトル正規化器であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T12:21:08Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。