論文の概要: On the Similarity between the Laplace and Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2007.01580v2
• Date: Sat, 14 Nov 2020 10:45:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 04:35:31.990806
• Title: On the Similarity between the Laplace and Neural Tangent Kernels
• Title（参考訳）: ラプラスとニューラルタンジェントカーネルの類似性について
• Authors: Amnon Geifman, Abhay Yadav, Yoni Kasten, Meirav Galun, David Jacobs, Ronen Basri
• Abstract要約: 完全に接続されたネットワークに対するNTKは標準のLaplaceカーネルと密接に関連していることを示す。 この結果から,よく知られたLaplaceカーネルの解析から,ニューラルネットワークに関する多くの知見が得られることが示唆された。
• 参考スコア（独自算出の注目度）: 26.371904197642145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent theoretical work has shown that massively overparameterized neural networks are equivalent to kernel regressors that use Neural Tangent Kernels(NTK). Experiments show that these kernel methods perform similarly to real neural networks. Here we show that NTK for fully connected networks is closely related to the standard Laplace kernel. We show theoretically that for normalized data on the hypersphere both kernels have the same eigenfunctions and their eigenvalues decay polynomially at the same rate, implying that their Reproducing Kernel Hilbert Spaces (RKHS) include the same sets of functions. This means that both kernels give rise to classes of functions with the same smoothness properties. The two kernels differ for data off the hypersphere, but experiments indicate that when data is properly normalized these differences are not significant. Finally, we provide experiments on real data comparing NTK and the Laplace kernel, along with a larger class of{\gamma}-exponential kernels. We show that these perform almost identically. Our results suggest that much insight about neural networks can be obtained from analysis of the well-known Laplace kernel, which has a simple closed-form.
• Abstract（参考訳）: 近年の理論的研究により、超過パラメータのニューラルネットワークは、ニューラルネットワーク(ntk)を使用するカーネルレグレッセプタと同値であることが示されている。 実験により、これらのカーネルメソッドが実際のニューラルネットワークと同様に動作することが示された。 ここでは,完全接続ネットワークのntkが標準ラプラスカーネルと密接な関係にあることを示す。 超球面上の正規化データに対して、両方の核は同じ固有関数を持ち、それらの固有値は同じ速度で多項式的に減衰し、それらの再現カーネルヒルベルト空間(RKHS)が同じ関数の集合を含むことを示す。 これは、両方のカーネルが同じ滑らか性を持つ関数のクラスを生じさせることを意味する。 2つのカーネルは超球外データに対して異なるが、実験ではデータが適切に正規化されている場合、これらの違いは重要ではないことを示している。 最後に、ntkとlaplaceカーネルを比較した実データ実験を行い、さらに大きなクラスである{\gamma}-exponential kernelを提供する。 これらはほぼ同じ性能を示す。 その結果、ニューラルネットワークに関する多くの洞察は、単純なクローズドフォームを持つ有名なlaplaceカーネルの解析から得られることが示唆された。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
  我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。 この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
  論文  参考訳（メタデータ） (2023-08-01T20:22:53Z)
• On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains [10.360517127652185]
  一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。 この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
  論文  参考訳（メタデータ） (2023-05-04T08:54:40Z)
• On Kernel Regression with Data-Dependent Kernels [0.0]
  トレーニングデータを見た後にカーネルを更新できるカーネルレグレッションについて検討する。 データ依存型カーネル学習者としてのディープニューラルネットワークの視点への接続について論じる。
  論文  参考訳（メタデータ） (2022-09-04T20:46:01Z)
• An Empirical Analysis of the Laplace and Neural Tangent Kernels [0.0]
  ニューラル・タンジェント・カーネル(Neural tangent kernel)は、無限幅ニューラルネットワークのパラメータ分布上に定義されたカーネル関数である。 ラプラス核とニューラル接核は同じヒルベルト空間を$mathbbSd-1$の空間で共有していることが示される。
  論文  参考訳（メタデータ） (2022-08-07T16:18:02Z)
• Neural Fields as Learnable Kernels for 3D Reconstruction [101.54431372685018]
  本稿では,学習したカーネルリッジの回帰に基づいて,暗黙の3次元形状を再構成する手法を提案する。 本手法は,3次元オブジェクトと大画面をスパース指向の点から再構成する際の最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:04Z)
• Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
  遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。 これは、サイレントアライメント(サイレントアライメント)という現象のためである。 また、非白データは無声アライメント効果を弱めることを示した。
  論文  参考訳（メタデータ） (2021-10-29T18:22:46Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Isolation Distributional Kernel: A New Tool for Point & Group Anomaly Detection [76.1522587605852]
  分離分散カーネル(IDK)は2つの分布の類似性を測定する新しい方法である。 我々は、カーネルベースの異常検出のための新しいツールとして、IDKの有効性と効率を示す。
  論文  参考訳（メタデータ） (2020-09-24T12:25:43Z)
• Neural Kernels Without Tangents [34.527798084824575]
  特徴の袋から「合成」カーネルを作成するための代数学について述べる。 これらの操作は, ニューラルタンジェントカーネル (NTK) の構成要素の多くに対応していることを示す。
  論文  参考訳（メタデータ） (2020-03-04T18:25:41Z)
• Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
  2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。 私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
  論文  参考訳（メタデータ） (2020-02-21T03:54:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。