論文の概要: Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning
- arxiv url: http://arxiv.org/abs/2406.01435v1
- Date: Mon, 3 Jun 2024 15:28:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 22:30:12.277562
- Title: Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning
- Title（参考訳）: 非対称なカーネル学習を用いたカーネルリッジレス回帰の学習解析
- Authors: Fan He, Mingzhen He, Lei Shi, Xiaolin Huang, Johan A. K. Suykens,
- Abstract要約: 本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。
初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
- 参考スコア（独自算出の注目度）: 33.34053480377887
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ridgeless regression has garnered attention among researchers, particularly in light of the ``Benign Overfitting'' phenomenon, where models interpolating noisy samples demonstrate robust generalization. However, kernel ridgeless regression does not always perform well due to the lack of flexibility. This paper enhances kernel ridgeless regression with Locally-Adaptive-Bandwidths (LAB) RBF kernels, incorporating kernel learning techniques to improve performance in both experiments and theory. For the first time, we demonstrate that functions learned from LAB RBF kernels belong to an integral space of Reproducible Kernel Hilbert Spaces (RKHSs). Despite the absence of explicit regularization in the proposed model, its optimization is equivalent to solving an $\ell_0$-regularized problem in the integral space of RKHSs, elucidating the origin of its generalization ability. Taking an approximation analysis viewpoint, we introduce an $l_q$-norm analysis technique (with $0<q<1$) to derive the learning rate for the proposed model under mild conditions. This result deepens our theoretical understanding, explaining that our algorithm's robust approximation ability arises from the large capacity of the integral space of RKHSs, while its generalization ability is ensured by sparsity, controlled by the number of support vectors. Experimental results on both synthetic and real datasets validate our theoretical conclusions.
- Abstract（参考訳）: リッジレス回帰は研究者の間で注目を集めており、特に'Benign Overfitting' 現象に照らして、ノイズのあるサンプルを補間するモデルが堅牢な一般化を示す。
しかしながら、カーネルのリッジレスレグレッションは、柔軟性の欠如のため、必ずしもうまく機能しない。
本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレス回帰を改良し,実験と理論の両方における性能向上を目的としたカーネル学習手法を取り入れた。
初めて、LAB RBFカーネルから学んだ関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
提案モデルに明示的な正規化がないにもかかわらず、その最適化は RKHS の積分空間における$\ell_0$-regularized問題の解法と等価であり、一般化能力の起源を解明する。
近似解析の観点から,提案モデルに対する学習率を軽度条件下で導出するために,$l_q$-norm解析手法($0<q<1$)を導入する。
この結果は我々の理論的な理解を深め、我々のアルゴリズムの頑健な近似能力はRKHSの積分空間の容量が大きいことから生じると説明し、その一般化能力はサポートベクトルの数によって制御される疎性によって保証される。
合成データと実データの両方の実験結果から, 理論的結論が得られた。
関連論文リスト
- Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳（メタデータ） (2024-10-03T17:06:06Z) - Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay [13.803850290216257]
本稿では,カーネル勾配勾配法における一般化誤差曲線の完全な特徴付けを行う。
ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。
論文 参考訳（メタデータ） (2024-01-03T08:00:50Z) - On the Sublinear Regret of GP-UCB [58.25014663727544]
ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。
私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
論文 参考訳（メタデータ） (2023-07-14T13:56:11Z) - Learning "best" kernels from data in Gaussian process regression. With
application to aerodynamics [0.4588028371034406]
本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。
アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。
アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
論文 参考訳（メタデータ） (2022-06-03T07:50:54Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳（メタデータ） (2022-05-26T20:56:25Z) - Ridgeless Regression with Random Features [23.41536146432726]
本研究では,無作為な特徴と勾配降下を伴う隆起性回帰の統計的特性について検討した。
トレーニング中のカーネルのスペクトル密度を最適化する可変カーネルアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-01T14:25:08Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Learning primal-dual sparse kernel machines [10.230121160034674]
伝統的に、カーネル法は、学習問題の解は再生されたカーネルヒルベルト空間(RKHS)にマッピングされたデータの線形結合として得られるという代表者定理に依存している。
本稿では,RKHS の要素が必ずしもトレーニングセットの要素に対応するとは限らない元データ空間において,前像分解を持つ解を求めることを提案する。
勾配に基づく手法は入力空間のスパース要素の最適化に重きを置き、原始空間と双対空間の両方でカーネルベースのモデルを得ることができる。
論文 参考訳（メタデータ） (2021-08-27T09:38:53Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。
ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
論文 参考訳（メタデータ） (2020-06-30T13:00:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。