論文の概要: Fast Neural Kernel Embeddings for General Activations

• arxiv url: http://arxiv.org/abs/2209.04121v1
• Date: Fri, 9 Sep 2022 05:10:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 12:17:15.489263
• Title: Fast Neural Kernel Embeddings for General Activations
• Title（参考訳）: 汎用アクティベーションのための高速ニューラルカーネル埋め込み
• Authors: Insu Han, Amir Zandieh, Jaehoon Lee, Roman Novak, Lechao Xiao, Amin Karbasi
• Abstract要約: 本稿では,多層ニューラルネットワークガウス過程(NNGP)カーネルとニューラルタンジェントカーネル(NTK)行列を近似した高速スケッチ法を提案する。 提案手法は,CIFAR-10データセット上での5層マイトルネットワークのCNTKの高速化を実現する。
• 参考スコア（独自算出の注目度）: 44.665680851537005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infinite width limit has shed light on generalization and optimization aspects of deep learning by establishing connections between neural networks and kernel methods. Despite their importance, the utility of these kernel methods was limited in large-scale learning settings due to their (super-)quadratic runtime and memory complexities. Moreover, most prior works on neural kernels have focused on the ReLU activation, mainly due to its popularity but also due to the difficulty of computing such kernels for general activations. In this work, we overcome such difficulties by providing methods to work with general activations. First, we compile and expand the list of activation functions admitting exact dual activation expressions to compute neural kernels. When the exact computation is unknown, we present methods to effectively approximate them. We propose a fast sketching method that approximates any multi-layered Neural Network Gaussian Process (NNGP) kernel and Neural Tangent Kernel (NTK) matrices for a wide range of activation functions, going beyond the commonly analyzed ReLU activation. This is done by showing how to approximate the neural kernels using the truncated Hermite expansion of any desired activation functions. While most prior works require data points on the unit sphere, our methods do not suffer from such limitations and are applicable to any dataset of points in $\mathbb{R}^d$. Furthermore, we provide a subspace embedding for NNGP and NTK matrices with near input-sparsity runtime and near-optimal target dimension which applies to any \emph{homogeneous} dual activation functions with rapidly convergent Taylor expansion. Empirically, with respect to exact convolutional NTK (CNTK) computation, our method achieves $106\times$ speedup for approximate CNTK of a 5-layer Myrtle network on CIFAR-10 dataset.
• Abstract（参考訳）: 無限幅制限は、ニューラルネットワークとカーネルメソッド間の接続を確立することによって、ディープラーニングの一般化と最適化の側面に光を当てている。 その重要性にもかかわらず、これらのカーネルメソッドの実用性は、(超)クアッドラティックランタイムとメモリの複雑さのために、大規模な学習環境で制限されていた。 さらに、ニューラルカーネルに関するほとんどの先行研究は、主にその人気のためにreluアクティベーションにフォーカスしているが、一般的なアクティベーションのためにそのようなカーネルを計算するのが難しいためでもある。 本稿では,一般的なアクティベーションを扱うメソッドを提供することによって,このような困難を克服する。 まず、ニューラルネットワークの正確な双対アクティベーション表現を許容するアクティベーション関数のリストをコンパイルし、拡張する。 正確な計算方法が不明な場合,効果的に近似する手法を提案する。 本稿では,多層ニューラルネットワークgaussian process (nngp) カーネルとneural tangent kernel (ntk) 行列を,広く解析されたreluアクティベーションを超越した幅広いアクティベーション関数に対して近似する高速スケッチ法を提案する。 これは、任意のアクティベーション関数の切り詰められたハーマイト展開を用いて、ニューラルカーネルを近似する方法を示す。 ほとんどの先行研究は単位球上のデータポイントを必要とするが、我々の手法はそのような制限に悩まされず、$\mathbb{R}^d$の任意の点のデータセットに適用できる。 さらに, NNGP および NTK 行列に対して, 急速に収束したTaylor 展開を持つ任意の \emph{homogeneous} 二重活性化関数に適用可能な, ほぼ入力スパーシティランタイムと準最適目標次元を持つ部分空間埋め込みを提供する。 経験的に, 完全畳み込みntk (cntk) 計算に関しては, cifar-10データセット上の5層myrtleネットワークの近似cntkに対して106\times$ speedupを実現する。

関連論文リスト

• Mean-field Analysis on Two-layer Neural Networks from a Kernel Perspective [40.69646918673903]
  2層ニューラルネットワークは、どのカーネル手法よりも効率的に複数の再生カーネルヒルベルト空間の結合を学習できることを示す。 また,グローバルな最適度に収束するラベルノイズプロシージャを開発し,その自由度が暗黙の正規化として現れることを示す。
  論文  参考訳（メタデータ） (2024-03-22T02:41:57Z)
• Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum [18.10812063219831]
  所望の固有値を持つカーネルに改良スペクトルカーネル(MSK)を導入する。 本研究では,勾配勾配の軌道を変化させる事前条件付き勾配降下法を提案する。 私たちの手法は計算効率が良く、実装も簡単です。
  論文  参考訳（メタデータ） (2023-07-26T22:39:47Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• The Fast Kernel Transform [21.001203328543006]
  本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。 FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。 本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
  論文  参考訳（メタデータ） (2021-06-08T16:15:47Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。