論文の概要: Characterizing Overfitting in Kernel Ridgeless Regression Through the
Eigenspectrum
- arxiv url: http://arxiv.org/abs/2402.01297v2
- Date: Mon, 5 Feb 2024 08:58:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 11:58:15.140707
- Title: Characterizing Overfitting in Kernel Ridgeless Regression Through the
Eigenspectrum
- Title(参考訳): 固有スペクトルによるカーネルリッジレス回帰におけるオーバーフィッティングの特徴
- Authors: Tin Sum Cheng and Aurelien Lucchi and Anastasis Kratsios and David
Belius
- Abstract要約: 我々は、カーネル行列の条件数に対する新しい境界を導出し、カーネルリッジレス回帰のために既存の漸近的でないテストエラー境界を強化するために使用する。
スペクトル減衰を持つ核に対しては、以前の研究から境界を回復し、指数減衰に対しては、我々の境界は非自明で新規である。
- 参考スコア(独自算出の注目度): 7.373617024876726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We derive new bounds for the condition number of kernel matrices, which we
then use to enhance existing non-asymptotic test error bounds for kernel
ridgeless regression in the over-parameterized regime for a fixed input
dimension. For kernels with polynomial spectral decay, we recover the bound
from previous work; for exponential decay, our bound is non-trivial and novel.
Our conclusion on overfitting is two-fold: (i) kernel regressors whose
eigenspectrum decays polynomially must generalize well, even in the presence of
noisy labeled training data; these models exhibit so-called tempered
overfitting; (ii) if the eigenspectrum of any kernel ridge regressor decays
exponentially, then it generalizes poorly, i.e., it exhibits catastrophic
overfitting. This adds to the available characterization of kernel ridge
regressors exhibiting benign overfitting as the extremal case where the
eigenspectrum of the kernel decays sub-polynomially. Our analysis combines new
random matrix theory (RMT) techniques with recent tools in the kernel ridge
regression (KRR) literature.
- Abstract(参考訳): カーネル行列の条件数に対する新しい境界を導出し、固定された入力次元に対するオーバーパラメータ化された状態におけるカーネルリッジレス回帰のための既存の非漸近テストエラー境界を強化するために使用する。
多項式スペクトル減衰を持つ核では、前の研究から境界を回復し、指数的減衰の場合、我々の境界は非自明かつ新規である。
オーバーフィッティングに関する私たちの結論は2倍です。
(i)固有スペクトルが多項式的に崩壊するカーネルレグレッサは、騒がしいラベル付きトレーニングデータが存在する場合でも、よく一般化しなければならない。これらのモデルは、いわゆる温和な過剰フィッティングを示す。
(II)任意の核尾根回帰器の固有スペクトルが指数関数的に減衰すると、それは一般化が悪く、すなわち破滅的な過剰適合を示す。
これは、カーネルの固有スペクトルがサブポリノマー的に崩壊する極端の場合として、良性過剰を示すカーネルリッジレグレッセプタの特性を付加する。
我々の分析は、新しいランダム行列理論(RMT)とカーネルリッジ回帰(KRR)文学における最近のツールを組み合わせる。
関連論文リスト
- Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。
以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。
副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
論文 参考訳(メタデータ) (2023-12-26T10:55:20Z) - A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge
Regression [23.156642467474995]
有限ランクカーネルは、例えば、トレーニング済みのディープニューラルネットワークの最後の層を微調整して新しいタスクに適応するなど、いくつかの機械学習問題に自然に現れる。
我々は、任意の有限ランクKRRのKRRテスト誤差に対して、急激な非漸近上界と下界を導出することにより、このギャップに対処する。
我々の境界は、以前に導出された有限ランクKRR上の境界よりも厳密であり、同等の結果とは異なり、任意の正則化パラメータに対しても有効である。
論文 参考訳(メタデータ) (2023-10-02T08:52:29Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳(メタデータ) (2023-01-16T02:57:37Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - How rotational invariance of common kernels prevents generalization in
high dimensions [8.508198765617196]
カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。
最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
論文 参考訳(メタデータ) (2021-04-09T08:27:37Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Kernel Methods for Causal Functions: Dose, Heterogeneous, and
Incremental Response Curves [26.880628841819004]
我々は、一般化されたカーネルリッジ回帰のオリジナル解析により、改良された有限標本率と一様整合性を証明した。
本研究は,本研究の主な成果を,前部および後部ドア基準で同定した反事実分布と因果関数に拡張する。
論文 参考訳(メタデータ) (2020-10-10T00:53:11Z) - Early stopping and polynomial smoothing in regression with reproducing
kernels [2.132096006921048]
再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。
本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。
提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
論文 参考訳(メタデータ) (2020-07-14T05:27:18Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳(メタデータ) (2020-04-09T17:54:18Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳(メタデータ) (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。