論文の概要: A Fast, Well-Founded Approximation to the Empirical Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2206.12543v1
• Date: Sat, 25 Jun 2022 03:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 14:06:25.923416
• Title: A Fast, Well-Founded Approximation to the Empirical Neural Tangent Kernel
• Title（参考訳）: 経験的ニューラルタンジェントカーネルの高速・高精度近似
• Authors: Mohamad Amin Mohamadi, Danica J. Sutherland
• Abstract要約: 経験的ニューラルネットワーク(eNTK)は、与えられたネットワークの表現をよりよく理解することができる。 O出力ユニットを持つネットワークの場合、N入力のeNTKは$NO times NO$で、$O((NO)2)$メモリを、$O((NO)3)$まで取ります。 既存のアプリケーションのほとんどは、カーネル行列のN倍のN倍の近似の1つを使っている。 我々は、「ロジットの仮定」と呼ばれるそのような近似が真の eNT に収束することを証明する。
• 参考スコア（独自算出の注目度）: 4.669892068997491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical neural tangent kernels (eNTKs) can provide a good understanding of a given network's representation: they are often far less expensive to compute and applicable more broadly than infinite width NTKs. For networks with O output units (e.g. an O-class classifier), however, the eNTK on N inputs is of size $NO \times NO$, taking $O((NO)^2)$ memory and up to $O((NO)^3)$ computation. Most existing applications have therefore used one of a handful of approximations yielding $N \times N$ kernel matrices, saving orders of magnitude of computation, but with limited to no justification. We prove that one such approximation, which we call "sum of logits", converges to the true eNTK at initialization for any network with a wide final "readout" layer. Our experiments demonstrate the quality of this approximation for various uses across a range of settings.
• Abstract（参考訳）: 経験的ニューラル・タンジェント・カーネル(entk)は、与えられたネットワークの表現をよく理解する:それらは多くの場合、無限幅のntkよりも計算コストが低く、適用範囲が広い。 しかし、o出力ユニット(例えばoクラス分類器)を持つネットワークでは、n入力のentkはサイズが$no \times no$で、メモリは$o((no)^2)$、計算量は$o((no)^3)$である。 したがって、既存のほとんどのアプリケーションは、数桁の近似のうちの1つを使い、N$カーネル行列を出力し、計算の桁数を節減するが、正当化はできない。 このような近似が「ロジットの仮定」と呼ばれ、最終的な「読み出し」層を持つ任意のネットワークの初期化において真の eNTK に収束することを証明する。 実験では,この近似のクオリティを様々な設定で検証した。

関連論文リスト

• Approximation of the Proximal Operator of the $\ell_\infty$ Norm Using a Neural Network [1.7265013728931]
  ニューラルネットワークを用いて,$textbfprox_alphacdot||infty(mathbfx)$を近似する。 ネットワークの新たな側面は、特徴選択プロセスにより、様々な長さのベクトルを受け入れることができることである。 特徴選択を使用しない「バニラニューラルネットワーク」よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-20T22:12:30Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Generalization Ability of Wide Neural Networks on $\mathbb{R}$ [8.508360765158326]
  広い2層ReLUニューラルネットワークのmathbbR$上での一般化能力について検討した。 $i)$幅$mrightarrowinfty$のとき、ニューラルネットワークカーネル(NNK)がNTKに均一に収束すると、$ii)$$$$K_1$のRKHSに対する回帰の最小値が$n-2/3$;$iii)$ 広義のニューラルネットワークをトレーニングする際に早期停止戦略を採用する場合、$ivとなる。
  論文  参考訳（メタデータ） (2023-02-12T15:07:27Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
  特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。 実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
  論文  参考訳（メタデータ） (2022-06-30T09:24:02Z)
• Fast Finite Width Neural Tangent Kernel [47.57136433797996]
  ニューラルネットワークのJacobianは、ディープラーニングの研究の中心的な対象として登場した。 有限幅NTKは計算に費用がかかることで有名である。 有限幅NTKの計算およびメモリ要求の指数を変化させる2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-17T12:18:22Z)
• Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization [14.186776881154127]
  Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。 NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。 我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
  論文  参考訳（メタデータ） (2022-05-20T14:50:24Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。