論文の概要: Optimal Rates and Saturation for Noiseless Kernel Ridge Regression

• arxiv url: http://arxiv.org/abs/2402.15718v2
• Date: Fri, 11 Apr 2025 12:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:17:05.034656
• Title: Optimal Rates and Saturation for Noiseless Kernel Ridge Regression
• Title（参考訳）: 無騒音カーネルリッジ回帰の最適速度と飽和
• Authors: Jihao Long, Xiaojun Peng, Lei Wu,
• Abstract要約: ノイズレスシステムにおけるカーネルリッジ回帰(KRR)の総合的研究について述べる。 KRRは有限標本から関数を学習するための基本的な方法である。 我々は、カーネルメソッドの解析に広く適用可能な、洗練された自由度の概念を導入する。
• 参考スコア（独自算出の注目度）: 4.585021053685196
• License:
• Abstract: Kernel ridge regression (KRR), also known as the least-squares support vector machine, is a fundamental method for learning functions from finite samples. While most existing analyses focus on the noisy setting with constant-level label noise, we present a comprehensive study of KRR in the noiseless regime -- a critical setting in scientific computing where data are often generated via high-fidelity numerical simulations. We establish that, up to logarithmic factors, noiseless KRR achieves minimax optimal convergence rates, jointly determined by the eigenvalue decay of the associated integral operator and the target function's smoothness. These rates are derived under Sobolev-type interpolation norms, with the $L^2$ norm as a special case. Notably, we uncover two key phenomena: an extra-smoothness effect, where the KRR solution exhibits higher smoothness than typical functions in the native reproducing kernel Hilbert space (RKHS), and a saturation effect, where the KRR's adaptivity to the target function's smoothness plateaus beyond a certain level. Leveraging these insights, we also derive a novel error bound for noisy KRR that is noise-level aware and achieves minimax optimality in both noiseless and noisy regimes. As a key technical contribution, we introduce a refined notion of degrees of freedom, which we believe has broader applicability in the analysis of kernel methods. Extensive numerical experiments validate our theoretical results and provide insights beyond existing theory.
• Abstract（参考訳）: カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、有限標本から関数を学習するための基本的な方法である。 既存のほとんどの分析は、一定のレベルのラベルノイズを伴うノイズのある設定に焦点を当てているが、ノイズのない状態におけるKRRの包括的な研究は、高忠実度数値シミュレーションによってしばしば生成される科学計算における重要な設定である。 対数的因子により、雑音のないKRRは、関連する積分作用素の固有値減衰と対象関数の滑らかさによって共同で決定される最小収束率を達成する。 これらの値はソボレフ型補間ノルムの下で導出され、特別な場合として$L^2$ノルムが与えられる。 特に、KRR溶液がネイティブ再生カーネルヒルベルト空間(RKHS)の典型的関数よりも滑らかであるような非滑らか性効果(extra-smoothness effect)と、ターゲット関数の滑らか性プラトーへのKRRの適応性が一定のレベルを超えた飽和効果(saturation effect)という2つの重要な現象を発見した。 これらの知見を生かして、ノイズレベルを意識し、ノイズレスとノイズの多い両方の体制において最小限の最適性を達成できる、ノイズレベルKRRの新たな誤差も導出する。 技術的に重要な貢献として、カーネルメソッドの解析に広く適用可能な、自由度という洗練された概念を導入する。 大規模な数値実験は、我々の理論結果を検証し、既存の理論を超えた洞察を提供する。

関連論文リスト

• A Comprehensive Analysis on the Learning Curve in Kernel Ridge Regression [6.749750044497731]
  本稿では,カーネルリッジ回帰(KRR)の学習曲線を最小限の仮定で総合的に研究する。 本稿では, スペクトル固有デカイ, 固有関数の特性, カーネルの滑らかさなど, カーネルのキー特性の役割を解析する。
  論文  参考訳（メタデータ） (2024-10-23T11:52:52Z)
• Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
  本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。 初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
  論文  参考訳（メタデータ） (2024-06-03T15:28:12Z)
• Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective [11.255943520955764]
  本稿では,Renyiのエントロピーをカーネル化した新しい情報理論尺度を提案する。 我々は,Renyiエントロピーのカーネル化の下で,勾配/ランジュバン降下(SGD/SGLD)学習アルゴリズムの一般化誤差境界を確立する。 我々の情報理論的境界は勾配の統計に依存しており、現在のSOTA(State-of-the-art)結果よりも厳密であることを示す。
  論文  参考訳（メタデータ） (2023-05-02T01:17:15Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Fast Statistical Leverage Score Approximation in Kernel Ridge Regression [12.258887270632869]
  Nystr"om approximationは、カーネルリッジ回帰(KRR)問題を迅速に解決する高速ランダム化方法です。 本稿では,静止Kernel-based KRRの統計的レバレッジスコアを正確に推定する線形時間アルゴリズム(モジュロポリログ項)を提案する。
  論文  参考訳（メタデータ） (2021-03-09T05:57:08Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。