論文の概要: Spectral Analysis of the Neural Tangent Kernel for Deep Residual Networks

• arxiv url: http://arxiv.org/abs/2104.03093v1
• Date: Wed, 7 Apr 2021 12:35:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 18:26:53.712368
• Title: Spectral Analysis of the Neural Tangent Kernel for Deep Residual Networks
• Title（参考訳）: ディープ残留ネットワークのためのニューラルタンジェントカーネルのスペクトル解析
• Authors: Yuval Belfer, Amnon Geifman, Meirav Galun, Ronen Basri
• Abstract要約: ResNTK の固有関数は球調和であり、固有値は $k-d$ として周波数 $k$ で減衰する。 本研究では,Laplaceカーネルとの類似性を利用して,スキップと残存接続のバランスをとるハイパーパラメータの選択に応じて,ResNTKがFC-NTKのように深さでスパイクになるか,あるいは安定した形状を維持することができることを示す。
• 参考スコア（独自算出の注目度）: 29.67334658659187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep residual network architectures have been shown to achieve superior accuracy over classical feed-forward networks, yet their success is still not fully understood. Focusing on massively over-parameterized, fully connected residual networks with ReLU activation through their respective neural tangent kernels (ResNTK), we provide here a spectral analysis of these kernels. Specifically, we show that, much like NTK for fully connected networks (FC-NTK), for input distributed uniformly on the hypersphere $\mathbb{S}^{d-1}$, the eigenfunctions of ResNTK are the spherical harmonics and the eigenvalues decay polynomially with frequency $k$ as $k^{-d}$. These in turn imply that the set of functions in their Reproducing Kernel Hilbert Space are identical to those of FC-NTK, and consequently also to those of the Laplace kernel. We further show, by drawing on the analogy to the Laplace kernel, that depending on the choice of a hyper-parameter that balances between the skip and residual connections ResNTK can either become spiky with depth, as with FC-NTK, or maintain a stable shape.
• Abstract（参考訳）: ディープ残差ネットワークアーキテクチャは、従来のフィードフォワードネットワークよりも優れた精度を達成することが示されているが、その成功はまだ完全には分かっていない。 ニューラルタンジェントカーネル(ResNTK)を経由したReLU活性化による超過パラメータ・完全連結残基ネットワークに着目し,これらのカーネルのスペクトル解析を行った。 具体的には、完全連結ネットワーク (FC-NTK) に対する NTK と同様に、超球面 $\mathbb{S}^{d-1}$ に均一に分布する入力に対して、ResNTK の固有函数は球面調和関数であり、固有値は周波数 $k$ as $k^{-d}$ として多項式的に減衰することを示した。 これらのことは、その再現ケルネルヒルベルト空間の関数の集合が FC-NTK の関数と同一であり、したがってラプラス核の関数も同値であることを意味する。 さらに,ラプラスカーネルを例示することにより,スキップと残差接続のバランスをとるハイパーパラメータの選択によって,fc-ntkのように深さが急上昇するか,安定した形状を維持することができることを示した。

関連論文リスト

• On the Neural Tangent Kernel of Equilibrium Models [72.29727250679477]
  本研究は、Deep equilibrium(DEQ)モデルのニューラル・タンジェント・カーネル(NTK)を研究する。 一方,DECモデルでは,幅と深さが無限大であるにもかかわらず,まだ決定論的NTKを満足していることを示す。
  論文  参考訳（メタデータ） (2023-10-21T16:47:18Z)
• On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains [10.360517127652185]
  一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。 この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
  論文  参考訳（メタデータ） (2023-05-04T08:54:40Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• A Kernel Perspective of Skip Connections in Convolutional Networks [21.458906138864176]
  本稿では,ResNetの特性をガウス過程とニューラルタンジェントカーネルを用いて研究する。 この結果から,ReLUの活性化により,これらの残核の固有値は,スキップ接続が使用されない場合と同等の速度で減衰することが示唆された。 さらに,これらの残留核から得られる行列は,有限深さで良好な条件数が得られることを示す。
  論文  参考訳（メタデータ） (2022-11-27T12:25:54Z)
• On the Similarity between the Laplace and Neural Tangent Kernels [26.371904197642145]
  完全に接続されたネットワークに対するNTKは標準のLaplaceカーネルと密接に関連していることを示す。 この結果から,よく知られたLaplaceカーネルの解析から,ニューラルネットワークに関する多くの知見が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-07-03T09:48:23Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Frequency Bias in Neural Networks for Input of Non-Uniform Density [27.75835200173761]
  ニューラル・タンジェント・カーネル(NTK)モデルを用いて、変動密度がトレーニング力学に与える影響を探索する。 我々の結果は、Sphered-1$ の点 $x における収束は、時間 $O(kappad/p(x))$ ここで、$p(x)$ は局所密度$x$ を表す。
  論文  参考訳（メタデータ） (2020-03-10T07:20:14Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。