論文の概要: Scaling Neural Tangent Kernels via Sketching and Random Features

• arxiv url: http://arxiv.org/abs/2106.07880v1
• Date: Tue, 15 Jun 2021 04:44:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 03:12:04.768666
• Title: Scaling Neural Tangent Kernels via Sketching and Random Features
• Title（参考訳）: スケッチとランダム特徴によるニューラルタンジェントカーネルのスケーリング
• Authors: Amir Zandieh, Insu Han, Haim Avron, Neta Shoham, Chaewon Kim, Jinwoo Shin
• Abstract要約: 最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
• 参考スコア（独自算出の注目度）: 53.57615759435126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Neural Tangent Kernel (NTK) characterizes the behavior of infinitely-wide neural networks trained under least squares loss by gradient descent. Recent works also report that NTK regression can outperform finitely-wide neural networks trained on small-scale datasets. However, the computational complexity of kernel methods has limited its use in large-scale learning tasks. To accelerate learning with NTK, we design a near input-sparsity time approximation algorithm for NTK, by sketching the polynomial expansions of arc-cosine kernels: our sketch for the convolutional counterpart of NTK (CNTK) can transform any image using a linear runtime in the number of pixels. Furthermore, we prove a spectral approximation guarantee for the NTK matrix, by combining random features (based on leverage score sampling) of the arc-cosine kernels with a sketching algorithm. We benchmark our methods on various large-scale regression and classification tasks and show that a linear regressor trained on our CNTK features matches the accuracy of exact CNTK on CIFAR-10 dataset while achieving 150x speedup.
• Abstract（参考訳）: neural tangent kernel(ntk)は、勾配降下によって最小二乗損失下で訓練された無限大ニューラルネットワークの挙動を特徴付ける。 近年の研究では、ntk回帰は、小規模データセットでトレーニングされた有限幅のニューラルネットワークよりも優れていると報告されている。 しかしながら、カーネルメソッドの計算複雑性は、大規模学習タスクでの使用を制限している。 ntkを用いた学習を高速化するため,我々は,arc-cosineカーネルの多項式展開をスケッチすることにより,ntkの入力スパーシティ時間近似アルゴリズムを設計する。 さらに,arc-cosineカーネルのランダム特徴(スコアサンプリングに基づく)とスケッチアルゴリズムを組み合わせることで,ntk行列に対するスペクトル近似の保証を証明した。 我々は,CNTK特徴量に基づいて訓練された線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現し,大規模回帰および分類タスクのベンチマークを行った。

関連論文リスト

• Faithful and Efficient Explanations for Neural Networks via Neural Tangent Kernel Surrogate Models [7.608408123113268]
  我々は、データ属性の近似的経験的ニューラルネットワークカーネル(eNTK)を解析する。 そこで本研究では,時間とメモリの複雑さを調整可能な,近似eNTKの2つの新しいランダムプロジェクションモデルを提案する。 ニューラルネットワークカーネルをカーネル関数として用いたカーネルマシンは,効率的なサロゲートモデルである。
  論文  参考訳（メタデータ） (2023-05-23T23:51:53Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Identifying good directions to escape the NTK regime and efficiently learn low-degree plus sparse polynomials [52.11466135206223]
  広帯域2層ニューラルネットワークはターゲット関数に適合するためにTangent Kernel(NTK)とQuadNTKを併用可能であることを示す。 これにより、終端収束が得られ、NTKとQuadNTKの双方に対して証明可能なサンプル改善が保証される。
  論文  参考訳（メタデータ） (2022-06-08T06:06:51Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Learning with Neural Tangent Kernels in Near Input Sparsity Time [5.472561051778218]
  neural tangent kernel(ntk)は、勾配降下によって少なくとも二乗損失の下で訓練された無限に広いニューラルネットワークの挙動を特徴付ける。 変換したデータの内部積がNTK評価を近似するように、入力データをランダム化された低次元特徴空間にマッピングするニアインプットスパーシティ時間アルゴリズムを提案する。 従来の大規模回帰・分類タスクでは,NTKカーネルを用いたNNとNystrom法より訓練された線形回帰器が優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-01T11:56:58Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Neural Kernels Without Tangents [34.527798084824575]
  特徴の袋から「合成」カーネルを作成するための代数学について述べる。 これらの操作は, ニューラルタンジェントカーネル (NTK) の構成要素の多くに対応していることを示す。
  論文  参考訳（メタデータ） (2020-03-04T18:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。