論文の概要: On Random Kernels of Residual Architectures

• arxiv url: http://arxiv.org/abs/2001.10460v4
• Date: Wed, 17 Jun 2020 14:12:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 02:16:41.427030
• Title: On Random Kernels of Residual Architectures
• Title（参考訳）: 残留アーキテクチャのランダムカーネルについて
• Authors: Etai Littwin, Tomer Galanti, Lior Wolf
• Abstract要約: ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
• 参考スコア（独自算出の注目度）: 93.94469470368988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We derive finite width and depth corrections for the Neural Tangent Kernel (NTK) of ResNets and DenseNets. Our analysis reveals that finite size residual architectures are initialized much closer to the "kernel regime" than their vanilla counterparts: while in networks that do not use skip connections, convergence to the NTK requires one to fix the depth, while increasing the layers' width. Our findings show that in ResNets, convergence to the NTK may occur when depth and width simultaneously tend to infinity, provided with a proper initialization. In DenseNets, however, convergence of the NTK to its limit as the width tends to infinity is guaranteed, at a rate that is independent of both the depth and scale of the weights. Our experiments validate the theoretical results and demonstrate the advantage of deep ResNets and DenseNets for kernel regression with random gradient features.
• Abstract（参考訳）: ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 解析により、有限サイズの残差アーキテクチャは、バニラネットワークよりも「カーネルレジーム」にかなり近い初期化されていることが判明した: スキップ接続を使用しないネットワークでは、ntkへのコンバウンスでは、層幅を増加させながら、深さを固定する1つが必要である。 この結果から,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、密度ネットでは、幅が無限になるにつれて、ntkの限界への収束が保証され、深さと重みのスケールとは無関係である。 実験では,理論結果を検証し,ランダムな勾配特徴を持つ核回帰に対する深い再ネットと高密度ネットの利点を実証した。

関連論文リスト

• On the Neural Tangent Kernel of Equilibrium Models [72.29727250679477]
  本研究は、Deep equilibrium(DEQ)モデルのニューラル・タンジェント・カーネル(NTK)を研究する。 一方,DECモデルでは,幅と深さが無限大であるにもかかわらず,まだ決定論的NTKを満足していることを示す。
  論文  参考訳（メタデータ） (2023-10-21T16:47:18Z)
• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization [3.2971341821314777]
  幅に匹敵する深さを持つ完全接続型ReLUネットワークのNTKについて検討する。 深層ネットワークのNTKは, トレーニング中のみ, 整列状態に留まることが示される。
  論文  参考訳（メタデータ） (2022-02-01T16:52:16Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
  深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。 有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
  論文  参考訳（メタデータ） (2020-12-21T19:32:17Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
  ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。 我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。 我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
  論文  参考訳（メタデータ） (2020-07-07T07:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。