論文の概要: How rotational invariance of common kernels prevents generalization in
high dimensions
- arxiv url: http://arxiv.org/abs/2104.04244v1
- Date: Fri, 9 Apr 2021 08:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-12 14:09:49.579610
- Title: How rotational invariance of common kernels prevents generalization in
high dimensions
- Title(参考訳): 共有核の回転不変性が高次元の一般化を防ぐ方法
- Authors: Konstantin Donhauser, Mingqi Wu and Fanny Yang
- Abstract要約: カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。
最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
- 参考スコア(独自算出の注目度): 8.508198765617196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernel ridge regression is well-known to achieve minimax optimal rates in
low-dimensional settings. However, its behavior in high dimensions is much less
understood. Recent work establishes consistency for kernel regression under
certain assumptions on the ground truth function and the distribution of the
input data. In this paper, we show that the rotational invariance property of
commonly studied kernels (such as RBF, inner product kernels and
fully-connected NTK of any depth) induces a bias towards low-degree polynomials
in high dimensions. Our result implies a lower bound on the generalization
error for a wide range of distributions and various choices of the scaling for
kernels with different eigenvalue decays. This lower bound suggests that
general consistency results for kernel ridge regression in high dimensions
require a more refined analysis that depends on the structure of the kernel
beyond its eigenvalue decay.
- Abstract(参考訳): カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。
しかし、高次元におけるその挙動は、あまり理解されていない。
最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の一貫性を確立する。
本稿では,よく研究されている核(rbf,内積核,奥行きの完全連結ntkなど)の回転不変性が,高次元の低次多項式に対するバイアスを生じさせることを示した。
この結果は、幅広い分布の一般化誤差と、異なる固有値崩壊を持つカーネルのスケーリングの様々な選択に対する低い境界を示唆している。
この下界は、高次元の核リッジ回帰に対する一般的な一貫性の結果は、固有値の崩壊を超える核の構造に依存するより洗練された解析を必要とすることを示唆している。
関連論文リスト
- Characterizing Overfitting in Kernel Ridgeless Regression Through the
Eigenspectrum [7.373617024876726]
我々は、カーネル行列の条件数に対する新しい境界を導出し、カーネルリッジレス回帰のために既存の漸近的でないテストエラー境界を強化するために使用する。
スペクトル減衰を持つ核に対しては、以前の研究から境界を回復し、指数減衰に対しては、我々の境界は非自明で新規である。
論文 参考訳(メタデータ) (2024-02-02T10:36:53Z) - Generalization Error Curves for Analytic Spectral Algorithms under
Power-law Decay [15.07971478021779]
本稿では,カーネル勾配勾配法における一般化誤差曲線の完全な特徴付けを行う。
ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。
論文 参考訳(メタデータ) (2024-01-03T08:00:50Z) - Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。
以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。
副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
論文 参考訳(メタデータ) (2023-12-26T10:55:20Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳(メタデータ) (2023-06-22T23:14:57Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - Kernel Mean Estimation by Marginalized Corrupted Distributions [96.9272743070371]
カーネル平均をヒルベルト空間で推定することは、多くのカーネル学習アルゴリズムにおいて重要な要素である。
本稿では,カーネル平均推定器としてカーネル平均推定器を提案する。
論文 参考訳(メタデータ) (2021-07-10T15:11:28Z) - Kernel approximation on algebraic varieties [0.7614628596146599]
スパースデータやローランクデータにまつわる問題において, より優れた近似が得られることを示す。
この結果は、アプリケーションで使用されるカーネルの主要なクラスであるスムーズな等方性カーネルに対して提示される。
論文 参考訳(メタデータ) (2021-06-04T23:42:19Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。
ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
論文 参考訳(メタデータ) (2020-06-30T13:00:16Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳(メタデータ) (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。