論文の概要: A Comprehensive Analysis on the Learning Curve in Kernel Ridge Regression

• arxiv url: http://arxiv.org/abs/2410.17796v1
• Date: Wed, 23 Oct 2024 11:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:55:19.766757
• Title: A Comprehensive Analysis on the Learning Curve in Kernel Ridge Regression
• Title（参考訳）: カーネルリッジ回帰における学習曲線の包括的解析
• Authors: Tin Sum Cheng, Aurelien Lucchi, Anastasis Kratsios, David Belius,
• Abstract要約: 本稿では,カーネルリッジ回帰(KRR)の学習曲線を最小限の仮定で総合的に研究する。 本稿では, スペクトル固有デカイ, 固有関数の特性, カーネルの滑らかさなど, カーネルのキー特性の役割を解析する。
• 参考スコア（独自算出の注目度）: 6.749750044497731
• License:
• Abstract: This paper conducts a comprehensive study of the learning curves of kernel ridge regression (KRR) under minimal assumptions. Our contributions are three-fold: 1) we analyze the role of key properties of the kernel, such as its spectral eigen-decay, the characteristics of the eigenfunctions, and the smoothness of the kernel; 2) we demonstrate the validity of the Gaussian Equivalent Property (GEP), which states that the generalization performance of KRR remains the same when the whitened features are replaced by standard Gaussian vectors, thereby shedding light on the success of previous analyzes under the Gaussian Design Assumption; 3) we derive novel bounds that improve over existing bounds across a broad range of setting such as (in)dependent feature vectors and various combinations of eigen-decay rates in the over/underparameterized regimes.
• Abstract（参考訳）: 本稿では,カーネルリッジ回帰(KRR)の学習曲線を最小限の仮定で総合的に研究する。 私たちの貢献は3倍です。 1) スペクトル固有デカイ, 固有関数の特性, 核の滑らかさなど, カーネルの鍵特性の役割を解析する。 2) KRR の一般化性能は標準的なガウスベクトルに置き換えた場合と同じであり,ガウス設計推定の下での過去の解析結果の成功に光を当てる。 3) 独立な特徴ベクトルや, 過度/過度な条件下での固有デカイ率の様々な組み合わせなど, 広い範囲にまたがる既存の境界よりも改善された新規な境界を導出する。

関連論文リスト

• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
  本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。 初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
  論文  参考訳（メタデータ） (2024-06-03T15:28:12Z)
• A Duality Analysis of Kernel Ridge Regression in the Noiseless Regime [5.153104177051464]
  我々は、KRRが、対応するカーネルの固有値減衰とターゲット関数の相対的滑らかさの両方に依存する最小値の最適値が得られることを証明した。 我々の証明は Chen らによって導入された双対性フレームワーク (2023) の新たな拡張を利用しており、これはこの研究の範囲を超えてカーネルベースの手法を解析するのに有用である。
  論文  参考訳（メタデータ） (2024-02-24T04:57:59Z)
• Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
  我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。 また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
  論文  参考訳（メタデータ） (2024-02-02T10:36:53Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Ridgeless Regression with Random Features [23.41536146432726]
  本研究では,無作為な特徴と勾配降下を伴う隆起性回帰の統計的特性について検討した。 トレーニング中のカーネルのスペクトル密度を最適化する可変カーネルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-01T14:25:08Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Kernel Methods for Causal Functions: Dose, Heterogeneous, and Incremental Response Curves [26.880628841819004]
  我々は、一般化されたカーネルリッジ回帰のオリジナル解析により、改良された有限標本率と一様整合性を証明した。 本研究は,本研究の主な成果を,前部および後部ドア基準で同定した反事実分布と因果関数に拡張する。
  論文  参考訳（メタデータ） (2020-10-10T00:53:11Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。