論文の概要: Learning with Neural Tangent Kernels in Near Input Sparsity Time

• arxiv url: http://arxiv.org/abs/2104.00415v1
• Date: Thu, 1 Apr 2021 11:56:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:49:16.303383
• Title: Learning with Neural Tangent Kernels in Near Input Sparsity Time
• Title（参考訳）: 入力空間近傍でのニューラルタンジェントカーネルの学習
• Authors: Amir Zandieh
• Abstract要約: neural tangent kernel(ntk)は、勾配降下によって少なくとも二乗損失の下で訓練された無限に広いニューラルネットワークの挙動を特徴付ける。 変換したデータの内部積がNTK評価を近似するように、入力データをランダム化された低次元特徴空間にマッピングするニアインプットスパーシティ時間アルゴリズムを提案する。 従来の大規模回帰・分類タスクでは,NTKカーネルを用いたNNとNystrom法より訓練された線形回帰器が優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.472561051778218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Neural Tangent Kernel (NTK) characterizes the behavior of infinitely wide neural nets trained under least squares loss by gradient descent (Jacot et al., 2018). However, despite its importance, the super-quadratic runtime of kernel methods limits the use of NTK in large-scale learning tasks. To accelerate kernel machines with NTK, we propose a near input sparsity time algorithm that maps the input data to a randomized low-dimensional feature space so that the inner product of the transformed data approximates their NTK evaluation. Furthermore, we propose a feature map for approximating the convolutional counterpart of the NTK (Arora et al., 2019), which can transform any image using a runtime that is only linear in the number of pixels. We show that in standard large-scale regression and classification tasks a linear regressor trained on our features outperforms trained NNs and Nystrom method with NTK kernels.
• Abstract（参考訳）: neural tangent kernel (ntk) は、勾配降下による最小二乗損失の下で訓練された無限に広いニューラルネットワークの挙動を特徴付ける(jacot et al., 2018)。 しかし、その重要性にもかかわらず、カーネルメソッドのスーパークワッドラティックランタイムは、大規模学習タスクにおけるNTKの使用を制限する。 ntkを用いてカーネルマシンを高速化するために,入力データをランダム化された低次元特徴空間にマッピングし,変換データの内部積をntk評価に近似する近似入力スパーシティタイムアルゴリズムを提案する。 さらに,NTK(Arora et al., 2019)の畳み込みを近似する特徴マップを提案する。 従来の大規模回帰・分類タスクでは,NTKカーネルを用いたNNとNystrom法より訓練された線形回帰器が優れていることを示す。

関連論文リスト

• A Unified Kernel for Neural Network Learning [4.0759204898334715]
  本稿では、勾配降下を伴うニューラルネットワークの学習力学を特徴付けるUnified Neural Kernel(UNK)を提案する。 UNK は NNGP と NTK の両方の制限特性を維持し、有限学習ステップで NTK に似た振る舞いを示す。 また、UNKカーネルの均一な厳密性と学習収束性を理論的に特徴づける。
  論文  参考訳（メタデータ） (2024-03-26T07:55:45Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Fast Neural Kernel Embeddings for General Activations [44.665680851537005]
  本稿では,多層ニューラルネットワークガウス過程(NNGP)カーネルとニューラルタンジェントカーネル(NTK)行列を近似した高速スケッチ法を提案する。 提案手法は,CIFAR-10データセット上での5層マイトルネットワークのCNTKの高速化を実現する。
  論文  参考訳（メタデータ） (2022-09-09T05:10:39Z)
• Identifying good directions to escape the NTK regime and efficiently learn low-degree plus sparse polynomials [52.11466135206223]
  広帯域2層ニューラルネットワークはターゲット関数に適合するためにTangent Kernel(NTK)とQuadNTKを併用可能であることを示す。 これにより、終端収束が得られ、NTKとQuadNTKの双方に対して証明可能なサンプル改善が保証される。
  論文  参考訳（メタデータ） (2022-06-08T06:06:51Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Rapid Feature Evolution Accelerates Learning in Neural Networks [2.538209532048867]
  我々は,勾配降下時のNTKと目標関数とのカーネルアライメント現象を解析した。 より深いネットワークでは、機能進化がより速く、より劇的であることを示す。 また、複数の出力ノードを持つネットワークは、各出力チャネルに対して別個の専用カーネルを開発することも見出した。
  論文  参考訳（メタデータ） (2021-05-29T13:50:03Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。