論文の概要: Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization

• arxiv url: http://arxiv.org/abs/2202.00553v1
• Date: Tue, 1 Feb 2022 16:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 13:59:47.876585
• Title: Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization
• Title（参考訳）: 無限幅限界を超えるニューラルタンジェントカーネル:深さと初期化の影響
• Authors: Mariia Seleznova, Gitta Kutyniok
• Abstract要約: 幅に匹敵する深さを持つ完全接続型ReLUネットワークのNTKについて検討する。 深層ネットワークのNTKは, トレーニング中のみ, 整列状態に留まることが示される。
• 参考スコア（独自算出の注目度）: 3.2971341821314777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Tangent Kernel (NTK) is widely used to analyze overparametrized neural networks due to the famous result by (Jacot et al., 2018): in the infinite-width limit, the NTK is deterministic and constant during training. However, this result cannot explain the behavior of deep networks, since it generally does not hold if depth and width tend to infinity simultaneously. In this paper, we study the NTK of fully-connected ReLU networks with depth comparable to width. We prove that the NTK properties depend significantly on the depth-to-width ratio and the distribution of parameters at initialization. In fact, our results indicate the importance of the three phases in the hyperparameter space identified in (Poole et al., 2016): ordered, chaotic and the edge of chaos (EOC). We derive exact expressions for the NTK dispersion in the infinite-depth-and-width limit in all three phases and conclude that the NTK variability grows exponentially with depth at the EOC and in the chaotic phase but not in the ordered phase. We also show that the NTK of deep networks may stay constant during training only in the ordered phase and discuss how the structure of the NTK matrix changes during training.
• Abstract（参考訳）: ニューラル・タンジェント・カーネル(ntk)は、(jacot et al., 2018):無限幅限界において、トレーニング中にntkが決定論的かつ定数であることから、過パラメータ化されたニューラルネットワークを分析するために広く使われている。 しかし、深さと幅が同時に無限になる場合、一般には保持されないため、この結果はディープネットワークの挙動を説明することができない。 本稿では,幅に匹敵する深さを持つ完全接続型ReLUネットワークのNTKについて検討する。 NTK特性は初期化時のパラメータの深さ-幅比と分布に大きく依存することを示す。 実際、我々の結果は(poole et al., 2016)で同定された超パラメータ空間における3つの位相の重要性を示している:順序、カオス、カオスのエッジ(eoc)。 これら3つの位相の無限深度および幅制限におけるNTK分散の正確な式を導出し,EOCおよびカオス相においてNTK変動は指数関数的に増大するが,順序相では変化しないと結論付けた。 また, 深層ネットワークのNTKは, トレーニング中にのみ一定であり, トレーニング中にNTK行列の構造がどのように変化するかについて議論する。

関連論文リスト

• On the Neural Tangent Kernel of Equilibrium Models [72.29727250679477]
  本研究は、Deep equilibrium(DEQ)モデルのニューラル・タンジェント・カーネル(NTK)を研究する。 一方,DECモデルでは,幅と深さが無限大であるにもかかわらず,まだ決定論的NTKを満足していることを示す。
  論文  参考訳（メタデータ） (2023-10-21T16:47:18Z)
• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• Efficient NTK using Dimensionality Reduction [5.025654873456756]
  そこで本研究では,事前解析により得られた課題に対して,トレーニングや推論リソースのコストを低減しつつ,保証を得る方法について述べる。 より一般的には、高密度線形層を低複雑性因子化に置き換えた大きな幅ネットワークを解析する方法が提案されている。
  論文  参考訳（メタデータ） (2022-10-10T16:11:03Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
  深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。 有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
  論文  参考訳（メタデータ） (2020-12-21T19:32:17Z)
• Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory? [2.0711789781518752]
  ニューラルカーネル(NTK)理論は、勾配勾配下での無限大深層ニューラルネットワーク(DNN)の力学の研究に広く用いられている。 NTK理論が実用的に完全に連結されたReLUおよびシグモイドDNNに対して有効である場合の実証的研究を行う。 特にNTK理論は、十分に深いネットワークの挙動を説明しておらず、それらの勾配がネットワークの層を伝搬するにつれて爆発する。
  論文  参考訳（メタデータ） (2020-12-08T15:19:45Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。