Fugu-MT 論文翻訳(概要): An Empirical Analysis of the Laplace and Neural Tangent Kernels

論文の概要: An Empirical Analysis of the Laplace and Neural Tangent Kernels

arxiv url: http://arxiv.org/abs/2208.03761v1
Date: Sun, 7 Aug 2022 16:18:02 GMT
ステータス: 処理完了
システム内更新日: 2022-08-09 12:55:13.093837
Title: An Empirical Analysis of the Laplace and Neural Tangent Kernels
Title（参考訳）: ラプラス核と神経接核の実験的解析
Authors: Ronaldas Paulius Lencevicius
Abstract要約: ニューラル・タンジェント・カーネル(Neural tangent kernel)は、無限幅ニューラルネットワークのパラメータ分布上に定義されたカーネル関数である。ラプラス核とニューラル接核は同じヒルベルト空間を$mathbbSd-1$の空間で共有していることが示される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The neural tangent kernel is a kernel function defined over the parameter distribution of an infinite width neural network. Despite the impracticality of this limit, the neural tangent kernel has allowed for a more direct study of neural networks and a gaze through the veil of their black box. More recently, it has been shown theoretically that the Laplace kernel and neural tangent kernel share the same reproducing kernel Hilbert space in the space of $\mathbb{S}^{d-1}$ alluding to their equivalence. In this work, we analyze the practical equivalence of the two kernels. We first do so by matching the kernels exactly and then by matching posteriors of a Gaussian process. Moreover, we analyze the kernels in $\mathbb{R}^d$ and experiment with them in the task of regression.
Abstract（参考訳）: 神経接核(neural tangent kernel)は、無限幅ニューラルネットワークのパラメータ分布上で定義されるカーネル関数である。この限界が現実的でないにもかかわらず、神経接核は、ニューラルネットワークのより直接的な研究と、そのブラックボックスのベールを通しての視線を可能にした。より最近では、ラプラス核とニューラル接核が、その同値性に応じて$\mathbb{S}^{d-1}$の空間で同じ再生カーネルヒルベルト空間を共有することが理論的に示されている。本研究では,2つのカーネルの実用的等価性を解析する。まず、核を正確にマッチングし、次にガウス過程の後方をマッチングすることでそれを行う。さらに, カーネルを$\mathbb{R}^d$で解析し, 回帰処理で実験する。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
A Unified Kernel for Neural Network Learning [4.0759204898334715]
本稿では、勾配降下を伴うニューラルネットワークの学習力学を特徴付けるUnified Neural Kernel(UNK)を提案する。 UNK は NNGP と NTK の両方の制限特性を維持し、有限学習ステップで NTK に似た振る舞いを示す。また、UNKカーネルの均一な厳密性と学習収束性を理論的に特徴づける。
論文参考訳（メタデータ） (2024-03-26T07:55:45Z)
An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
論文参考訳（メタデータ） (2023-08-01T20:22:53Z)
On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains [10.360517127652185]
一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
論文参考訳（メタデータ） (2023-05-04T08:54:40Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。これは、サイレントアライメント(サイレントアライメント)という現象のためである。また、非白データは無声アライメント効果を弱めることを示した。
論文参考訳（メタデータ） (2021-10-29T18:22:46Z)
Nuclei with up to $\boldsymbol{A=6}$ nucleons with artificial neural network wave functions [52.77024349608834]
人工ニューラルネットワークを用いて、核の波動関数をコンパクトに表現する。高精度な超球面調和法を用いて, それらの結合エネルギー, 点核子密度, ラジイをベンチマークした。
論文参考訳（メタデータ） (2021-08-15T23:02:39Z)
Deep Neural Tangent Kernel and Laplace Kernel Have the Same RKHS [10.578438886506076]
より小さいパワー(カーネルのスムーズさを損なう)の指数的パワーカーネルは、より大きなRKHSにつながることを証明した。また、ディープニューラルネットワークカーネルとLaplaceカーネルの再生カーネルヒルベルト空間(RKHS)が、同じ関数セットを含むことを証明した。
論文参考訳（メタデータ） (2020-09-22T16:58:26Z)
On the Similarity between the Laplace and Neural Tangent Kernels [26.371904197642145]
完全に接続されたネットワークに対するNTKは標準のLaplaceカーネルと密接に関連していることを示す。この結果から,よく知られたLaplaceカーネルの解析から,ニューラルネットワークに関する多くの知見が得られることが示唆された。
論文参考訳（メタデータ） (2020-07-03T09:48:23Z)
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。これは、トレーニング損失が一定の精度まで線形に収束することを意味する。また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。