Fugu-MT 論文翻訳(概要): Neural Tangent Kernel Analysis of Deep Narrow Neural Networks

論文の概要: Neural Tangent Kernel Analysis of Deep Narrow Neural Networks

arxiv url: http://arxiv.org/abs/2202.02981v1
Date: Mon, 7 Feb 2022 07:27:02 GMT
ステータス: 処理完了
システム内更新日: 2022-02-08 15:37:41.487821
Title: Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Title（参考訳）: ディープナローニューラルネットワークのニューラルタンジェントカーネル解析
Authors: Jongmin Lee, Joo Young Choi, Ernest K. Ryu, Albert No
Abstract要約: 無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
参考スコア（独自算出の注目度）: 11.623483126242478
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The tremendous recent progress in analyzing the training dynamics of overparameterized neural networks has primarily focused on wide networks and therefore does not sufficiently address the role of depth in deep learning. In this work, we present the first trainability guarantee of infinitely deep but narrow neural networks. We study the infinite-depth limit of a multilayer perceptron (MLP) with a specific initialization and establish a trainability guarantee using the NTK theory. We then extend the analysis to an infinitely deep convolutional neural network (CNN) and perform brief experiments
Abstract（参考訳）: 過パラメータニューラルネットワークのトレーニングダイナミクスの分析における最近の大きな進歩は、主に広いネットワークに焦点を当てているため、ディープラーニングにおける奥行きの役割には十分対応していない。本研究では、無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。我々は,マルチ層パーセプトロン(MLP)の無限深さ限界を特定の初期化で検討し,NTK理論を用いたトレーニング可能性保証を確立する。その後、分析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。

関連論文リスト

Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。我々は,誤りや誤りを正確に予測し,分析結果を検証した。
論文参考訳（メタデータ） (2024-09-23T17:57:58Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks [22.083873334272027]
我々は,スペーサーネットワークが,様々なデータセットの浅い深度で非スパースネットワークより優れていることを観察した。カーネルリッジ回帰の一般化誤差に関する既存の理論を拡張した。
論文参考訳（メタデータ） (2023-05-17T20:09:35Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Limitations of the NTK for Understanding Generalization in Deep Learning [13.44676002603497]
我々はNTKをスケーリング法則のレンズを通して研究し、ニューラルネットワークの一般化の重要な側面を説明するには不十分であることを示した。実験的なNTKを一定数のサンプルで事前トレーニングしても、カーネルのスケーリングはニューラルネットワークのスケーリングに追いつかなくなる。
論文参考訳（メタデータ） (2022-06-20T21:23:28Z)
The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文参考訳（メタデータ） (2022-02-27T23:12:43Z)
Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory? [2.0711789781518752]
ニューラルカーネル(NTK)理論は、勾配勾配下での無限大深層ニューラルネットワーク(DNN)の力学の研究に広く用いられている。 NTK理論が実用的に完全に連結されたReLUおよびシグモイドDNNに対して有効である場合の実証的研究を行う。特にNTK理論は、十分に深いネットワークの挙動を説明しておらず、それらの勾配がネットワークの層を伝搬するにつれて爆発する。
論文参考訳（メタデータ） (2020-12-08T15:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。