Fugu-MT 論文翻訳(概要): Characterizing the Spectrum of the NTK via a Power Series Expansion

論文の概要: Characterizing the Spectrum of the NTK via a Power Series Expansion

arxiv url: http://arxiv.org/abs/2211.07844v1
Date: Tue, 15 Nov 2022 02:01:41 GMT
ステータス: 処理完了
システム内更新日: 2022-11-16 15:19:43.880258
Title: Characterizing the Spectrum of the NTK via a Power Series Expansion
Title（参考訳）: パワー級数展開によるntkスペクトルの特徴付け
Authors: Michael Murray, Hui Jin, Benjamin Bowman, Guido Montufar
Abstract要約: 我々は,Hermite係数の高速崩壊を観察し,NTK係数の高速崩壊を導いた。十分に高速なエルミート崩壊を伴う一般データや活性化関数に対しては、NTKのスペクトル上界を導出する。
参考スコア（独自算出の注目度）: 2.0646127669654826
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Under mild conditions on the network initialization we derive a power series expansion for the Neural Tangent Kernel (NTK) of arbitrarily deep feedforward networks in the infinite width limit. We provide expressions for the coefficients of this power series which depend on both the Hermite coefficients of the activation function as well as the depth of the network. We observe faster decay of the Hermite coefficients leads to faster decay in the NTK coefficients. Using this series, first we relate the effective rank of the NTK to the effective rank of the input-data Gram. Second, for data drawn uniformly on the sphere we derive an explicit formula for the eigenvalues of the NTK, which shows faster decay in the NTK coefficients implies a faster decay in its spectrum. From this we recover existing results on eigenvalue asymptotics for ReLU networks and comment on how the activation function influences the RKHS. Finally, for generic data and activation functions with sufficiently fast Hermite coefficient decay, we derive an asymptotic upper bound on the spectrum of the NTK.
Abstract（参考訳）: ネットワーク初期化の穏やかな条件下では、無限幅極限の任意の深さフィードフォワードネットワークの神経接核(英語版)(ntk)の級数展開を導出する。本研究では,ネットワークの深さと活性化関数のエルマイト係数の両方に依存する,この級数係数の表現を提供する。我々は,Hermite係数の高速崩壊を観察し,NTK係数の高速崩壊を導いた。この級数を用いて、まずNTKの有効ランクと入力データグラムの有効ランクを関連付ける。第二に、球面上に一様に描画されたデータに対して、NTKの固有値の明示的な式が導出され、NTK係数の高速な減衰がスペクトルの高速な減衰を意味することを示す。この結果から、ReLUネットワークの固有値漸近に関する既存の結果と、アクティベーション関数がRKHSに与える影響についてコメントする。最後に、十分に高速なエルミート係数崩壊を持つ一般データや活性化関数に対して、NTKのスペクトル上の漸近上界を導出する。

関連論文リスト

The Positivity of the Neural Tangent Kernel [0.0]
Tangent Kernel (NTK) は、広義のニューラルネットワークの研究において基本的な概念として登場した。ここでは, これまでの作業を改善するとともに, 任意の深さのフィードフォワードネットワークのNTKの肯定性について, 鋭い結果を得る。
論文参考訳（メタデータ） (2024-04-19T14:55:21Z)
Analyzing the Neural Tangent Kernel of Periodically Activated Coordinate Networks [30.92757082348805]
ニューラルタンジェントカーネル(NTK)の解析を通して周期的に活性化されるネットワークの理論的理解を提供する。 NTKの観点から,周期的に活性化されるネットワークは,ReLU活性化ネットワークよりもテキスト的に良好であることが示唆された。
論文参考訳（メタデータ） (2024-02-07T12:06:52Z)
Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform [12.36064367319084]
従来の完全接続型ディープニューラルネットワーク(DNN)を連続幅の概念により一般化する。 IAT-ReLUは連続基底関数を用いる場合に連続的な活性化パターンを示す。数値実験により,IAT-ReLUはトレーニング性やスムーズさの点で,通常のReLUよりも優れていることが示された。
論文参考訳（メタデータ） (2023-12-19T20:23:33Z)
ReLU soothes the NTK condition number and accelerates optimization for wide neural networks [9.374151703899047]
ReLUは、類似したデータを分離し、ニューラル・タンジェント・カーネル(NTK)の条件付けを改善する。以上の結果から,ReLUの活性化とReLUネットワークの深度は勾配勾配収束率の向上に寄与することが示唆された。
論文参考訳（メタデータ） (2023-05-15T17:22:26Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks [0.0]
浅部ニューラルネットワークの近似速度に対して, 急激な下界を証明した。これらの下界は、有界変動を持つシグモノイド活性化関数と、ReLUのパワーである活性化関数の両方に適用できる。
論文参考訳（メタデータ） (2021-06-28T22:01:42Z)
Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文参考訳（メタデータ） (2021-06-15T04:44:52Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。