論文の概要: A non-asymptotic theory of Kernel Ridge Regression: deterministic equivalents, test error, and GCV estimator

• arxiv url: http://arxiv.org/abs/2403.08938v1
• Date: Wed, 13 Mar 2024 20:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 22:37:06.287637
• Title: A non-asymptotic theory of Kernel Ridge Regression: deterministic equivalents, test error, and GCV estimator
• Title（参考訳）: カーネルリッジ回帰の非漸近理論:決定論的等価性、テストエラー、GCV推定器
• Authors: Theodor Misiakiewicz, Basil Saeed,
• Abstract要約: カーネルリッジ回帰を用いた未知のターゲット関数$f_*$の学習を検討する。 KRRのテスト誤差に対する非漸近的決定論的近似を確立した。
• 参考スコア（独自算出の注目度）: 7.163829696591103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider learning an unknown target function $f_*$ using kernel ridge regression (KRR) given i.i.d. data $(u_i,y_i)$, $i\leq n$, where $u_i \in U$ is a covariate vector and $y_i = f_* (u_i) +\varepsilon_i \in \mathbb{R}$. A recent string of work has empirically shown that the test error of KRR can be well approximated by a closed-form estimate derived from an `equivalent' sequence model that only depends on the spectrum of the kernel operator. However, a theoretical justification for this equivalence has so far relied either on restrictive assumptions -- such as subgaussian independent eigenfunctions -- , or asymptotic derivations for specific kernels in high dimensions. In this paper, we prove that this equivalence holds for a general class of problems satisfying some spectral and concentration properties on the kernel eigendecomposition. Specifically, we establish in this setting a non-asymptotic deterministic approximation for the test error of KRR -- with explicit non-asymptotic bounds -- that only depends on the eigenvalues and the target function alignment to the eigenvectors of the kernel. Our proofs rely on a careful derivation of deterministic equivalents for random matrix functionals in the dimension free regime pioneered by Cheng and Montanari (2022). We apply this setting to several classical examples and show an excellent agreement between theoretical predictions and numerical simulations. These results rely on having access to the eigendecomposition of the kernel operator. Alternatively, we prove that, under this same setting, the generalized cross-validation (GCV) estimator concentrates on the test error uniformly over a range of ridge regularization parameter that includes zero (the interpolating solution). As a consequence, the GCV estimator can be used to estimate from data the test error and optimal regularization parameter for KRR.
• Abstract（参考訳）: データ $(u_i,y_i)$, $i\leq n$, ここで$u_i \in U$は共変ベクトルであり、$y_i = f_* (u_i) +\varepsilon_i \in \mathbb{R}$である。 最近の一連の研究により、KRRの試験誤差は、カーネル作用素のスペクトルにのみ依存する「等価」配列モデルから導かれる閉形式推定によってうまく近似できることが実証的に示されている。 しかし、この同値性の理論的な正当化は、現在までに、非ガウス独立固有函数のような制限的な仮定、あるいは高次元の特定の核に対する漸近的導出に依拠している。 本稿では、この同値性が、カーネル固有分解におけるスペクトルおよび濃度特性を満たす問題の一般的なクラスに成り立つことを証明する。 具体的には、この設定において、KRRのテスト誤差(明示的な非漸近境界を持つ)に対する非漸近決定論的近似を確立し、これは、カーネルの固有ベクトルに対する固有値とターゲット関数のアライメントにのみ依存する。 我々の証明は、Cheng と Montanari (2022) の先駆的な次元自由状態におけるランダム行列函数に対する決定論的同値の慎重な導出に依存している。 この設定をいくつかの古典的な例に適用し、理論的予測と数値シミュレーションの間に優れた一致を示す。 これらの結果は、カーネルオペレータの固有分解へのアクセスに依存する。 あるいは、この同じ条件下では、一般クロスバリデーション(GCV)推定器はゼロを含むリッジ正規化パラメータ(補間解)の範囲に一様に集中していることを証明する。 その結果、GCV推定器はテスト誤差とKRRの最適正規化パラメータから推定することができる。

関連論文リスト

• Universality of kernel random matrices and kernel regression in the quadratic regime [18.51014786894174]
  本研究では、カーネルカーネルの回帰の研究を二次構造にまで拡張する。 我々は、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。 我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングと一般化誤差を特徴づける。
  論文  参考訳（メタデータ） (2024-08-02T07:29:49Z)
• Dimension-free deterministic equivalents and scaling laws for random feature regression [11.607594737176973]
  テスト誤差は特徴写像固有値のみに依存する閉形式式によってよく近似されていることを示す。 特に、近似保証は非漸近的で乗法的であり、特徴写像次元とは独立である。
  論文  参考訳（メタデータ） (2024-05-24T16:43:26Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• Error Bounds for Learning with Vector-Valued Random Features [2.375038919274297]
  本稿では,ベクトル値ランダム特徴量(RF)を用いた学習の包括的誤り解析を提供する。 この理論は、完全な無限次元入力出力設定におけるRFリッジ回帰のために開発された。
  論文  参考訳（メタデータ） (2023-05-26T18:00:08Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model [0.0]
  このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。 特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-06-15T08:25:50Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。