論文の概要: On the Eigenvalue Decay Rates of a Class of Neural-Network Related
Kernel Functions Defined on General Domains
- arxiv url: http://arxiv.org/abs/2305.02657v4
- Date: Mon, 8 Jan 2024 11:23:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 00:00:33.936269
- Title: On the Eigenvalue Decay Rates of a Class of Neural-Network Related
Kernel Functions Defined on General Domains
- Title（参考訳）: 一般ドメイン上に定義されたニューラルネットワーク関連カーネル関数の固有値減少率について
- Authors: Yicheng Li, Zixiong Yu, Guhan Chen, Qian Lin
- Abstract要約: 一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。
この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
- 参考スコア（独自算出の注目度）: 10.360517127652185
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we provide a strategy to determine the eigenvalue decay rate
(EDR) of a large class of kernel functions defined on a general domain rather
than $\mathbb S^{d}$. This class of kernel functions include but are not
limited to the neural tangent kernel associated with neural networks with
different depths and various activation functions. After proving that the
dynamics of training the wide neural networks uniformly approximated that of
the neural tangent kernel regression on general domains, we can further
illustrate the minimax optimality of the wide neural network provided that the
underground truth function $f\in [\mathcal H_{\mathrm{NTK}}]^{s}$, an
interpolation space associated with the RKHS $\mathcal{H}_{\mathrm{NTK}}$ of
NTK. We also showed that the overfitted neural network can not generalize well.
We believe our approach for determining the EDR of kernels might be also of
independent interests.
- Abstract（参考訳）: 本稿では、$\mathbb S^{d}$ではなく、一般領域上で定義される大きなカーネル関数の固有値減衰率(EDR)を決定するための戦略を提供する。
この種類のカーネル関数は包含するが、異なる深さと様々な活性化関数を持つニューラルネットワークに関連する神経接核に限定されない。
広義のニューラルネットワークのトレーニングのダイナミクスが一般領域における神経接核回帰のそれと均一に近似していることが証明された後、地下真理関数 $f\in [\mathcal h_{\mathrm{ntk}}]^{s}$, rkhs $\mathcal{h}_{\mathrm{ntk}}$ of ntk に付随する補間空間として、広義のニューラルネットワークの最小最適性を示すことができる。
また、過剰に適合したニューラルネットワークはうまく一般化できないことを示した。
カーネルのEDRを決定するための我々のアプローチも、独立した関心事であると考えています。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - An Empirical Analysis of the Laplace and Neural Tangent Kernels [0.0]
ニューラル・タンジェント・カーネル(Neural tangent kernel)は、無限幅ニューラルネットワークのパラメータ分布上に定義されたカーネル関数である。
ラプラス核とニューラル接核は同じヒルベルト空間を$mathbbSd-1$の空間で共有していることが示される。
論文 参考訳（メタデータ） (2022-08-07T16:18:02Z) - Uniform Generalization Bounds for Overparameterized Neural Networks [5.945320097465419]
カーネルシステムにおけるオーバーパラメータ化ニューラルネットワークに対する一様一般化バウンダリを証明した。
我々の境界は、アクティベーション関数の微分可能性に応じて正確な誤差率をキャプチャする。
NTカーネルに対応するRKHSと、Mat'ernカーネルのファミリーに対応するRKHSの等価性を示す。
論文 参考訳（メタデータ） (2021-09-13T16:20:13Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Optimal Rates for Averaged Stochastic Gradient Descent under Neural
Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。
本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文 参考訳（メタデータ） (2020-06-22T14:31:37Z) - Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite
Networks [12.692279981822011]
指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。
我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。
これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
論文 参考訳（メタデータ） (2020-02-20T01:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。