論文の概要: A Kernel Perspective of Skip Connections in Convolutional Networks

• arxiv url: http://arxiv.org/abs/2211.14810v1
• Date: Sun, 27 Nov 2022 12:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:23:52.262405
• Title: A Kernel Perspective of Skip Connections in Convolutional Networks
• Title（参考訳）: 畳み込みネットワークにおけるスキップ接続のカーネル視点
• Authors: Daniel Barzilai, Amnon Geifman, Meirav Galun and Ronen Basri
• Abstract要約: 本稿では,ResNetの特性をガウス過程とニューラルタンジェントカーネルを用いて研究する。 この結果から,ReLUの活性化により,これらの残核の固有値は,スキップ接続が使用されない場合と同等の速度で減衰することが示唆された。 さらに,これらの残留核から得られる行列は,有限深さで良好な条件数が得られることを示す。
• 参考スコア（独自算出の注目度）: 21.458906138864176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over-parameterized residual networks (ResNets) are amongst the most successful convolutional neural architectures for image processing. Here we study their properties through their Gaussian Process and Neural Tangent kernels. We derive explicit formulas for these kernels, analyze their spectra, and provide bounds on their implied condition numbers. Our results indicate that (1) with ReLU activation, the eigenvalues of these residual kernels decay polynomially at a similar rate compared to the same kernels when skip connections are not used, thus maintaining a similar frequency bias; (2) however, residual kernels are more locally biased. Our analysis further shows that the matrices obtained by these residual kernels yield favorable condition numbers at finite depths than those obtained without the skip connections, enabling therefore faster convergence of training with gradient descent.
• Abstract（参考訳）: オーバーパラメータ化残差ネットワーク(ResNet)は、画像処理において最も成功した畳み込みニューラルネットワークである。 ここではガウス過程とニューラルタンジェントカーネルを通してそれらの特性を研究する。 これらのカーネルの明示的な公式を導出し、スペクトルを分析し、インプリート条件数に境界を与える。 その結果, 1) ReLU が活性化すると, 残核の固有値は, スキップ接続が使用されない場合の同じカーネルと比較して多項式的に減衰し, 同様の周波数バイアスを保ちながら, (2) 残核はより局所的に偏りがあることがわかった。 さらに,これらの残核から得られる行列は,スキップ接続のない行列よりも有限深さで良好な条件数が得られることを示し,従って勾配降下によるトレーニングの収束を高速化する。

関連論文リスト

• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• An Empirical Analysis of the Laplace and Neural Tangent Kernels [0.0]
  ニューラル・タンジェント・カーネル(Neural tangent kernel)は、無限幅ニューラルネットワークのパラメータ分布上に定義されたカーネル関数である。 ラプラス核とニューラル接核は同じヒルベルト空間を$mathbbSd-1$の空間で共有していることが示される。
  論文  参考訳（メタデータ） (2022-08-07T16:18:02Z)
• Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
  遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。 これは、サイレントアライメント(サイレントアライメント)という現象のためである。 また、非白データは無声アライメント効果を弱めることを示した。
  論文  参考訳（メタデータ） (2021-10-29T18:22:46Z)
• Spectral Analysis of the Neural Tangent Kernel for Deep Residual Networks [29.67334658659187]
  ResNTK の固有関数は球調和であり、固有値は $k-d$ として周波数 $k$ で減衰する。 本研究では,Laplaceカーネルとの類似性を利用して,スキップと残存接続のバランスをとるハイパーパラメータの選択に応じて,ResNTKがFC-NTKのように深さでスパイクになるか,あるいは安定した形状を維持することができることを示す。
  論文  参考訳（メタデータ） (2021-04-07T12:35:19Z)
• Deep Equals Shallow for ReLU Networks in Kernel Regimes [13.909388235627791]
  ReLUアクティベーションでは、深層完全接続ネットワークから派生したカーネルは、浅層2層のカーネルと本質的に同じ近似特性を持つことを示す。 我々の理論結果は、核関数の微分可能性特性を通して、そのような固有値の崩壊を特徴づけることに依存している。
  論文  参考訳（メタデータ） (2020-09-30T02:37:43Z)
• On the Similarity between the Laplace and Neural Tangent Kernels [26.371904197642145]
  完全に接続されたネットワークに対するNTKは標準のLaplaceカーネルと密接に関連していることを示す。 この結果から,よく知られたLaplaceカーネルの解析から,ニューラルネットワークに関する多くの知見が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-07-03T09:48:23Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。