論文の概要: Fast Finite Width Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2206.08720v1
• Date: Fri, 17 Jun 2022 12:18:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 12:15:25.342477
• Title: Fast Finite Width Neural Tangent Kernel
• Title（参考訳）: 高速有限幅ニューラルタンジェントカーネル
• Authors: Roman Novak, Jascha Sohl-Dickstein, Samuel S. Schoenholz
• Abstract要約: ニューラルネットワークのJacobianは、ディープラーニングの研究の中心的な対象として登場した。 有限幅NTKは計算に費用がかかることで有名である。 有限幅NTKの計算およびメモリ要求の指数を変化させる2つの新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 47.57136433797996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Neural Tangent Kernel (NTK), defined as $\Theta_\theta^f(x_1, x_2) = \left[\partial f(\theta, x_1)\big/\partial \theta\right] \left[\partial f(\theta, x_2)\big/\partial \theta\right]^T$ where $\left[\partial f(\theta, \cdot)\big/\partial \theta\right]$ is a neural network (NN) Jacobian, has emerged as a central object of study in deep learning. In the infinite width limit, the NTK can sometimes be computed analytically and is useful for understanding training and generalization of NN architectures. At finite widths, the NTK is also used to better initialize NNs, compare the conditioning across models, perform architecture search, and do meta-learning. Unfortunately, the finite width NTK is notoriously expensive to compute, which severely limits its practical utility. We perform the first in-depth analysis of the compute and memory requirements for NTK computation in finite width networks. Leveraging the structure of neural networks, we further propose two novel algorithms that change the exponent of the compute and memory requirements of the finite width NTK, dramatically improving efficiency. Our algorithms can be applied in a black box fashion to any differentiable function, including those implementing neural networks. We open-source our implementations within the Neural Tangents package (arXiv:1912.02803) at https://github.com/google/neural-tangents.
• Abstract（参考訳）: \theta_\theta^f(x_1, x_2) = \left[\partial f(\theta, x_1)\big/\partial \theta\right] \left[\partial f(\theta, x_2)\big/\partial \theta\right]^t$ ここで$\left[\partial f(\theta, \cdot)\big/\partial \theta\right]$はニューラルネットワーク(nn)ジャコビアンである。 無限幅制限では、NTKを解析的に計算することができ、NNアーキテクチャのトレーニングと一般化を理解するのに有用である。 有限幅では、NTKはNNの初期化の改善、モデル間の条件付けの比較、アーキテクチャ検索の実行、メタラーニングにも使用される。 残念ながら、有限幅ntkは計算コストが高く、実用性を著しく制限している。 有限幅ネットワークにおけるNTK計算における計算およびメモリ要求の詳細な解析を行う。 さらに,ニューラルネットワークの構造を活かし,有限幅ntkの計算とメモリ要求の指数を変化させ,効率を劇的に向上させる2つのアルゴリズムを提案する。 我々のアルゴリズムは、ニューラルネットワークを実装するものを含むあらゆる異なる機能にブラックボックス方式で適用することができる。 Neural Tangentsパッケージ(arXiv:1912.02803)をhttps://github.com/google/neural-tangents.comで公開しています。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• A Fast, Well-Founded Approximation to the Empirical Neural Tangent Kernel [6.372625755672473]
  経験的ニューラルネットワーク(eNTK)は、与えられたネットワークの表現をよりよく理解することができる。 O出力ユニットを持つネットワークの場合、N入力のeNTKは$NO times NO$で、$O((NO)2)$メモリを、$O((NO)3)$まで取ります。 既存のアプリケーションのほとんどは、カーネル行列のN倍のN倍の近似の1つを使っている。 我々は、「ロジットの仮定」と呼ばれるそのような近似が真の eNT に収束することを証明する。
  論文  参考訳（メタデータ） (2022-06-25T03:02:35Z)
• Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization [14.186776881154127]
  Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。 NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。 我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
  論文  参考訳（メタデータ） (2022-05-20T14:50:24Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Feature Learning in Infinite-Width Neural Networks [17.309380337367536]
  ニューラルネットワークの標準およびNTKパラメトリゼーションは、特徴を学習できる無限幅制限を認めないことを示す。 本稿では,標準パラメトリゼーションの簡易な修正を提案し,その限界における特徴学習を実現する。
  論文  参考訳（メタデータ） (2020-11-30T03:21:05Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures [3.4698840925433765]
  NTK理論が実際に一般的な幅の標準的なニューラルネットワークアーキテクチャをいかにうまくモデル化するかは、まだ明らかな疑問である。 我々はこの疑問を、AlexNetとLeNetという2つのよく知られた畳み込みニューラルネットワークアーキテクチャに対して実証的に研究する。 これらのネットワークのより広いバージョンでは、完全に接続されたレイヤのチャネル数や幅が増加すると、偏差は減少する。
  論文  参考訳（メタデータ） (2020-06-24T11:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。