論文の概要: Random Features for the Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2104.01351v1
• Date: Sat, 3 Apr 2021 09:08:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 02:28:30.210066
• Title: Random Features for the Neural Tangent Kernel
• Title（参考訳）: ニューラルタンジェントカーネルのランダム特性
• Authors: Insu Han, Haim Avron, Neta Shoham, Chaewon Kim, Jinwoo Shin
• Abstract要約: 完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
• 参考スコア（独自算出の注目度）: 57.132634274795066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Neural Tangent Kernel (NTK) has discovered connections between deep neural networks and kernel methods with insights of optimization and generalization. Motivated by this, recent works report that NTK can achieve better performances compared to training neural networks on small-scale datasets. However, results under large-scale settings are hardly studied due to the computational limitation of kernel methods. In this work, we propose an efficient feature map construction of the NTK of fully-connected ReLU network which enables us to apply it to large-scale datasets. We combine random features of the arc-cosine kernels with a sketching-based algorithm which can run in linear with respect to both the number of data points and input dimension. We show that dimension of the resulting features is much smaller than other baseline feature map constructions to achieve comparable error bounds both in theory and practice. We additionally utilize the leverage score based sampling for improved bounds of arc-cosine random features and prove a spectral approximation guarantee of the proposed feature map to the NTK matrix of two-layer neural network. We benchmark a variety of machine learning tasks to demonstrate the superiority of the proposed scheme. In particular, our algorithm can run tens of magnitude faster than the exact kernel methods for large-scale settings without performance loss.
• Abstract（参考訳）: neural tangent kernel (ntk) は、最適化と一般化の洞察を持つディープニューラルネットワークとカーネルメソッドの間の接続を発見した。 これに触発された最近の研究報告では、NTKは小規模データセットでのニューラルネットワークのトレーニングよりもパフォーマンスが向上している。 しかし,カーネル手法の計算量制限により,大規模環境下での結果はほとんど研究されていない。 本研究では,完全接続型ReLUネットワークのNTKの効率的な特徴マップ構築を提案し,大規模データセットに適用する。 本研究では,arc-cosineカーネルのランダムな特徴と,データ点数と入力次元の両方について線形に動作可能なスケッチベースアルゴリズムを組み合わせる。 その結果得られた特徴の次元は他の基本機能マップ構成よりもはるかに小さく、理論と実践の両方において同等の誤差境界を達成することが示されている。 また、2層ニューラルネットワークのNTK行列に対する提案した特徴写像のスペクトル近似を保証するために、レバレッジスコアに基づくサンプリングを改良したアークコサインランダム特徴量に適用する。 提案手法の優位性を示すため,様々な機械学習タスクをベンチマークする。 特に,我々のアルゴリズムは,性能損失のない大規模設定において,正確なカーネル手法よりも数十倍高速に動作可能である。

関連論文リスト

• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Universality and Optimality of Structured Deep Kernel Networks [0.0]
  カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。 機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。 本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-05-15T14:10:35Z)
• Learning with Neural Tangent Kernels in Near Input Sparsity Time [5.472561051778218]
  neural tangent kernel(ntk)は、勾配降下によって少なくとも二乗損失の下で訓練された無限に広いニューラルネットワークの挙動を特徴付ける。 変換したデータの内部積がNTK評価を近似するように、入力データをランダム化された低次元特徴空間にマッピングするニアインプットスパーシティ時間アルゴリズムを提案する。 従来の大規模回帰・分類タスクでは,NTKカーネルを用いたNNとNystrom法より訓練された線形回帰器が優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-01T11:56:58Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Neural Kernels Without Tangents [34.527798084824575]
  特徴の袋から「合成」カーネルを作成するための代数学について述べる。 これらの操作は, ニューラルタンジェントカーネル (NTK) の構成要素の多くに対応していることを示す。
  論文  参考訳（メタデータ） (2020-03-04T18:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。