論文の概要: The Recurrent Neural Tangent Kernel
- arxiv url: http://arxiv.org/abs/2006.10246v4
- Date: Tue, 15 Jun 2021 00:43:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 10:08:01.497925
- Title: The Recurrent Neural Tangent Kernel
- Title(参考訳): リカレントニューラルタンジェント核
- Authors: Sina Alemohammad, Zichao Wang, Randall Balestriero, Richard Baraniuk
- Abstract要約: 本稿では、過度にパラメータ化されたRNNの動作に関する新たな洞察を提供するRNTK(Recurrent Neural Tangent Kernel)を紹介し、研究する。
56個の実世界のデータ実験により、RNTKは他のカーネルよりも大幅に性能が向上することを示した。
- 参考スコア(独自算出の注目度): 11.591070761599328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The study of deep neural networks (DNNs) in the infinite-width limit, via the
so-called neural tangent kernel (NTK) approach, has provided new insights into
the dynamics of learning, generalization, and the impact of initialization. One
key DNN architecture remains to be kernelized, namely, the recurrent neural
network (RNN). In this paper we introduce and study the Recurrent Neural
Tangent Kernel (RNTK), which provides new insights into the behavior of
overparametrized RNNs. A key property of the RNTK should greatly benefit
practitioners is its ability to compare inputs of different length. To this
end, we characterize how the RNTK weights different time steps to form its
output under different initialization parameters and nonlinearity choices. A
synthetic and 56 real-world data experiments demonstrate that the RNTK offers
significant performance gains over other kernels, including standard NTKs,
across a wide array of data sets.
- Abstract(参考訳): ディープニューラルネットワーク(dnn)の無限幅限界における研究は、いわゆるneural tangent kernel(ntk)アプローチを通じて、学習のダイナミクス、一般化、初期化の影響に関する新たな洞察を提供した。
1つの重要なDNNアーキテクチャは依然としてカーネル化されており、リカレントニューラルネットワーク(RNN)である。
本稿では,過パラメータ化rnnの挙動に関する新たな知見を提供するrecurrent neural tangent kernel(rntk)の紹介と研究を行う。
RNTKの重要な特性は、異なる長さの入力を比較する能力である。
この目的のために、RNTKは異なる初期化パラメータと非線形選択の下で出力を形成するために異なる時間ステップを重み付けする。
56個の実世界のデータ実験により、RNTKは、標準のNTKを含む他のカーネルに比べて、幅広いデータセットで大きなパフォーマンス向上をもたらすことを示した。
関連論文リスト
- Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳(メタデータ) (2023-10-28T06:41:47Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - Neural Tangent Kernel Analysis of Deep Narrow Neural Networks [11.623483126242478]
無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。
次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
論文 参考訳(メタデータ) (2022-02-07T07:27:02Z) - Weighted Neural Tangent Kernel: A Generalized and Improved
Network-Induced Kernel [20.84988773171639]
Neural Tangent Kernel(NTK)は、勾配降下によって訓練された過剰パラメーターニューラルネットワーク(NN)の進化を記述することで、近年、激しい研究を惹きつけている。
Weighted Neural Tangent Kernel (WNTK) は、一般化された改良されたツールであり、異なる勾配の下でパラメータ化されたNNのトレーニングダイナミクスをキャプチャすることができる。
提案する重み更新アルゴリズムでは,実験値と解析値の両方が,数値実験において対応するntkを上回っている。
論文 参考訳(メタデータ) (2021-03-22T03:16:20Z) - Scalable Neural Tangent Kernel of Recurrent Architectures [8.487185704099923]
無限幅のディープニューラルネットワーク(DNN)から派生したカーネルは、機械学習タスクの範囲で高いパフォーマンスを提供する。
我々は、リカレントニューラルネットワーク(RNN)に関連するカーネルのファミリーを、平均プーリングを持つ双方向RNNとRNNであるより複雑なアーキテクチャに拡張する。
論文 参考訳(メタデータ) (2020-12-09T04:36:34Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳(メタデータ) (2020-09-13T21:12:20Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。