論文の概要: On the infinite width limit of neural networks with a standard
parameterization
- arxiv url: http://arxiv.org/abs/2001.07301v3
- Date: Sat, 18 Apr 2020 21:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 23:25:21.786895
- Title: On the infinite width limit of neural networks with a standard
parameterization
- Title（参考訳）: 標準パラメータ化を用いたニューラルネットワークの無限幅限界について
- Authors: Jascha Sohl-Dickstein, Roman Novak, Samuel S. Schoenholz, Jaehoon Lee
- Abstract要約: 幅が無限大になるにつれて、これらの特性を全て保存する標準パラメータ化の補間の改善を提案する。
実験により,結果のカーネルはNTKパラメータ化の結果とよく似た精度が得られることがわかった。
- 参考スコア（独自算出の注目度）: 52.07828272324366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There are currently two parameterizations used to derive fixed kernels
corresponding to infinite width neural networks, the NTK (Neural Tangent
Kernel) parameterization and the naive standard parameterization. However, the
extrapolation of both of these parameterizations to infinite width is
problematic. The standard parameterization leads to a divergent neural tangent
kernel while the NTK parameterization fails to capture crucial aspects of
finite width networks such as: the dependence of training dynamics on relative
layer widths, the relative training dynamics of weights and biases, and overall
learning rate scale. Here we propose an improved extrapolation of the standard
parameterization that preserves all of these properties as width is taken to
infinity and yields a well-defined neural tangent kernel. We show
experimentally that the resulting kernels typically achieve similar accuracy to
those resulting from an NTK parameterization, but with better correspondence to
the parameterization of typical finite width networks. Additionally, with
careful tuning of width parameters, the improved standard parameterization
kernels can outperform those stemming from an NTK parameterization. We release
code implementing this improved standard parameterization as part of the Neural
Tangents library at https://github.com/google/neural-tangents.
- Abstract（参考訳）: 現在、無限幅のニューラルネットワークに対応する固定カーネル、NTK(Neural Tangent Kernel)パラメタライゼーションとナイーブ標準パラメタライゼーションの2つのパラメータ化が使用されている。
しかし、これら2つのパラメータ化の無限幅への外挿は問題となる。
標準パラメータ化は分散した神経接核を導くが、ntkパラメータ化は有限幅ネットワークの重要な側面である、例えば、相対層幅へのトレーニングダイナミクスの依存、重みとバイアスの相対トレーニングダイナミクス、全体的な学習速度スケールを捉えることができない。
本稿では,これらすべての性質を無限大の幅に保ち,よく定義された神経接核を生成する標準パラメータ化の補間法を提案する。
実験により、結果のカーネルはNTKパラメータ化の結果とよく似ているが、典型的な有限幅ネットワークのパラメータ化によく対応していることがわかった。
さらに、幅パラメータを注意深く調整することで、改良された標準パラメータ化カーネルはNTKパラメータ化から生じるものよりも優れた性能を発揮する。
我々は、この改良された標準パラメータ化を実装するコードをhttps://github.com/google/neural-tangentsでNeural Tangentsライブラリの一部としてリリースする。
関連論文リスト
- Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation [8.35644084613785]
局所目標の2つの代表的設計に対して、無限幅極限における最大更新パラメータ化(mu$P)を導入する。
深層線形ネットワークを解析した結果,PCの勾配は1次勾配とガウス・ニュートン様勾配の間に介在していることが判明した。
我々は、特定の標準設定において、無限幅制限のPCは、一階勾配とよりよく似た振る舞いをすることを示した。
論文 参考訳（メタデータ） (2024-11-04T11:38:27Z) - Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression [4.983567824636051]
本研究は、非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせたものである。
偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。
論文 参考訳（メタデータ） (2024-06-26T07:41:41Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Over-parameterised Shallow Neural Networks with Asymmetrical Node
Scaling: Global Convergence Guarantees and Feature Learning [23.47570704524471]
我々は,各隠れノードの出力を正のパラメータでスケールする勾配流による大規模および浅層ニューラルネットワークの最適化を検討する。
大規模なニューラルネットワークでは、高い確率で勾配流がグローバルな最小限に収束し、NTK体制とは異なり、特徴を学習できることを実証する。
論文 参考訳（メタデータ） (2023-02-02T10:40:06Z) - Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。
入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。
我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文 参考訳（メタデータ） (2022-10-13T09:01:58Z) - Memorization and Optimization in Deep Neural Networks with Minimum
Over-parameterization [14.186776881154127]
Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。
NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。
我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
論文 参考訳（メタデータ） (2022-05-20T14:50:24Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Feature Learning in Infinite-Width Neural Networks [17.309380337367536]
ニューラルネットワークの標準およびNTKパラメトリゼーションは、特徴を学習できる無限幅制限を認めないことを示す。
本稿では,標準パラメトリゼーションの簡易な修正を提案し,その限界における特徴学習を実現する。
論文 参考訳（メタデータ） (2020-11-30T03:21:05Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文 参考訳（メタデータ） (2020-01-28T16:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。