論文の概要: Characterizing Overfitting in Kernel Ridgeless Regression Through the
Eigenspectrum
- arxiv url: http://arxiv.org/abs/2402.01297v1
- Date: Fri, 2 Feb 2024 10:36:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 15:50:37.304513
- Title: Characterizing Overfitting in Kernel Ridgeless Regression Through the
Eigenspectrum
- Title(参考訳): 固有スペクトルによるカーネルリッジレス回帰におけるオーバーフィッティングの特徴
- Authors: Tin Sum Cheng and Aurelien Lucchi and Anastasis Kratsios and David
Belius
- Abstract要約: 我々は、カーネル行列の条件数に対する新しい境界を導出し、カーネルリッジレス回帰のために既存の漸近的でないテストエラー境界を強化するために使用する。
スペクトル減衰を持つ核に対しては、以前の研究から境界を回復し、指数減衰に対しては、我々の境界は非自明で新規である。
- 参考スコア(独自算出の注目度): 7.373617024876726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We derive new bounds for the condition number of kernel matrices, which we
then use to enhance existing non-asymptotic test error bounds for kernel
ridgeless regression in the over-parameterized regime for a fixed input
dimension. For kernels with polynomial spectral decay, we recover the bound
from previous work; for exponential decay, our bound is non-trivial and novel.
Our conclusion on overfitting is two-fold: (i) kernel regressors whose
eigenspectrum decays polynomially must generalize well, even in the presence of
noisy labeled training data; these models exhibit so-called tempered
overfitting; (ii) if the eigenspectrum of any kernel ridge regressor decays
exponentially, then it generalizes poorly, i.e., it exhibits catastrophic
overfitting. This adds to the available characterization of kernel ridge
regressors exhibiting benign overfitting as the extremal case where the
eigenspectrum of the kernel decays sub-polynomially. Our analysis combines new
random matrix theory (RMT) techniques with recent tools in the kernel ridge
regression (KRR) literature.
- Abstract(参考訳): カーネル行列の条件数に対する新しい境界を導出し、固定された入力次元に対するオーバーパラメータ化された状態におけるカーネルリッジレス回帰のための既存の非漸近テストエラー境界を強化するために使用する。
多項式スペクトル減衰を持つ核では、前の研究から境界を回復し、指数的減衰の場合、我々の境界は非自明かつ新規である。
オーバーフィッティングに関する私たちの結論は2倍です。
(i)固有スペクトルが多項式的に崩壊するカーネルレグレッサは、騒がしいラベル付きトレーニングデータが存在する場合でも、よく一般化しなければならない。これらのモデルは、いわゆる温和な過剰フィッティングを示す。
(II)任意の核尾根回帰器の固有スペクトルが指数関数的に減衰すると、それは一般化が悪く、すなわち破滅的な過剰適合を示す。
これは、カーネルの固有スペクトルがサブポリノマー的に崩壊する極端の場合として、良性過剰を示すカーネルリッジレグレッセプタの特性を付加する。
我々の分析は、新しいランダム行列理論(RMT)とカーネルリッジ回帰(KRR)文学における最近のツールを組み合わせる。
関連論文リスト
- A Comprehensive Analysis on the Learning Curve in Kernel Ridge Regression [6.749750044497731]
本稿では,カーネルリッジ回帰(KRR)の学習曲線を最小限の仮定で総合的に研究する。
本稿では, スペクトル固有デカイ, 固有関数の特性, カーネルの滑らかさなど, カーネルのキー特性の役割を解析する。
論文 参考訳(メタデータ) (2024-10-23T11:52:52Z) - A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge
Regression [23.156642467474995]
有限ランクカーネルは、例えば、トレーニング済みのディープニューラルネットワークの最後の層を微調整して新しいタスクに適応するなど、いくつかの機械学習問題に自然に現れる。
我々は、任意の有限ランクKRRのKRRテスト誤差に対して、急激な非漸近上界と下界を導出することにより、このギャップに対処する。
我々の境界は、以前に導出された有限ランクKRR上の境界よりも厳密であり、同等の結果とは異なり、任意の正則化パラメータに対しても有効である。
論文 参考訳(メタデータ) (2023-10-02T08:52:29Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Overparameterized random feature regression with nearly orthogonal data [21.97381518762387]
本研究では,2層ニューラルネットワークによるランダム特徴リッジ回帰(RFRR)の非漸近挙動について検討した。
我々の結果は、ほぼ決定論的性質を示す様々なアクティベーション関数と入力データセットに対して成り立っている。
論文 参考訳(メタデータ) (2022-11-11T09:16:25Z) - Robust and Provable Guarantees for Sparse Random Embeddings [72.24615341588846]
我々は、Freksen が al. (NIPS'18) と Jagadeesan (NIPS'18) で提供したスパースランダム埋め込みの保証を改善する。
a) 前述した保証とは対照的に我々の境界は明示的であり、(b)我々の境界は実際に重要な定数によってよりシャープであることが保証されている。
我々は、我々の境界が、広範囲の現実世界のデータセットに関する先行研究よりも著しく優れていることを実証的に実証した。
論文 参考訳(メタデータ) (2022-02-22T11:15:59Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Kernel Methods for Causal Functions: Dose, Heterogeneous, and
Incremental Response Curves [26.880628841819004]
我々は、一般化されたカーネルリッジ回帰のオリジナル解析により、改良された有限標本率と一様整合性を証明した。
本研究は,本研究の主な成果を,前部および後部ドア基準で同定した反事実分布と因果関数に拡張する。
論文 参考訳(メタデータ) (2020-10-10T00:53:11Z) - Non-asymptotic Optimal Prediction Error for Growing-dimensional
Partially Functional Linear Models [0.951828574518325]
予測誤差の最大値と最大値の上限を示す。
過剰な予測リスクの正確な上限は、非漸近的な形で示される。
モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
論文 参考訳(メタデータ) (2020-09-10T08:49:32Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳(メタデータ) (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。