Fugu-MT 論文翻訳(概要): Kernel interpolation generalizes poorly

論文の概要: Kernel interpolation generalizes poorly

arxiv url: http://arxiv.org/abs/2303.15809v2
Date: Tue, 1 Aug 2023 11:53:27 GMT
ステータス: 処理完了
システム内更新日: 2023-08-02 22:21:00.389049
Title: Kernel interpolation generalizes poorly
Title（参考訳）: カーネル補間は貧弱を一般化する
Authors: Yicheng Li, Haobo Zhang and Qian Lin
Abstract要約: 任意の $varepsilon>0$ に対して、カーネル一般化の誤差は $Omega(n-varepsilon)$ で下界であることが示される。直接的に、球面上で定義された過度に適合した広義のニューラルネットワークは、一般化が不十分であることを示すことができる。
参考スコア（独自算出の注目度）: 14.569829985753346
License: http://creativecommons.org/licenses/by/4.0/
Abstract: One of the most interesting problems in the recent renaissance of the studies in kernel regression might be whether the kernel interpolation can generalize well, since it may help us understand the `benign overfitting henomenon' reported in the literature on deep networks. In this paper, under mild conditions, we show that for any $\varepsilon>0$, the generalization error of kernel interpolation is lower bounded by $\Omega(n^{-\varepsilon})$. In other words, the kernel interpolation generalizes poorly for a large class of kernels. As a direct corollary, we can show that overfitted wide neural networks defined on the sphere generalize poorly.
Abstract（参考訳）: カーネルレグレッションにおける最近の研究のルネサンスにおける最も興味深い問題の1つは、ディープネットワークの文献で報告されている「良性過剰なヘノメノン」を理解するのに役立つので、カーネル補間がうまく一般化できるかどうかである。本稿では、穏やかな条件下では、任意の$\varepsilon>0$に対して、カーネル補間一般化誤差が$\Omega(n^{-\varepsilon})$で下界であることが示される。言い換えると、カーネル補間は、大きなクラスのカーネルに対して不十分に一般化する。直接系として、球面上に定義された過剰に適合した広帯域ニューラルネットワークは一般化が不十分であることを示すことができる。

関連論文リスト

The phase diagram of kernel interpolation in large dimensions [8.707305374058794]
大きな次元におけるカーネルの一般化能力は、最近のカーネル回帰のルネサンスにおいて、最も興味深い問題の1つかもしれない。各種ソース条件$sgeq 0$において,大次元カーネルの偏差と偏差の正確な順序を完全に特徴づけた。我々は、カーネルが極小最適、準最適、矛盾する$(s,gamma)$-planeの領域を決定した。
論文参考訳（メタデータ） (2024-04-19T03:04:06Z)
Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
論文参考訳（メタデータ） (2023-12-26T10:55:20Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
An Empirical Analysis of the Laplace and Neural Tangent Kernels [0.0]
ニューラル・タンジェント・カーネル(Neural tangent kernel)は、無限幅ニューラルネットワークのパラメータ分布上に定義されたカーネル関数である。ラプラス核とニューラル接核は同じヒルベルト空間を$mathbbSd-1$の空間で共有していることが示される。
論文参考訳（メタデータ） (2022-08-07T16:18:02Z)
Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。これは、サイレントアライメント(サイレントアライメント)という現象のためである。また、非白データは無声アライメント効果を弱めることを示した。
論文参考訳（メタデータ） (2021-10-29T18:22:46Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Kernel Mean Estimation by Marginalized Corrupted Distributions [96.9272743070371]
カーネル平均をヒルベルト空間で推定することは、多くのカーネル学習アルゴリズムにおいて重要な要素である。本稿では,カーネル平均推定器としてカーネル平均推定器を提案する。
論文参考訳（メタデータ） (2021-07-10T15:11:28Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
How rotational invariance of common kernels prevents generalization in high dimensions [8.508198765617196]
カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
論文参考訳（メタデータ） (2021-04-09T08:27:37Z)
Kernelized Classification in Deep Networks [49.47339560731506]
本稿では,ディープネットワークのためのカーネル分類層を提案する。訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
論文参考訳（メタデータ） (2020-12-08T21:43:19Z)
Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks [17.188280334580195]
トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
論文参考訳（メタデータ） (2020-06-23T17:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。