論文の概要: Kernel ridge regression under power-law data: spectrum and generalization

• arxiv url: http://arxiv.org/abs/2510.04780v1
• Date: Mon, 06 Oct 2025 12:58:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.868864
• Title: Kernel ridge regression under power-law data: spectrum and generalization
• Title（参考訳）: パワーローデータに基づくカーネルリッジ回帰-スペクトルと一般化
• Authors: Arie Wortsman, Bruno Loureiro,
• Abstract要約: ガウスデータの高次元核リッジ回帰(KRR)と異方性パワー-ロー共分散について検討する。 この設定は、KRRの古典的なソースとキャパシティの条件とは根本的に異なる。 我々の知る限り、これは非線形KRRを電力法データの下で厳格に扱う最初の方法である。
• 参考スコア（独自算出の注目度）: 10.479735444470535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate high-dimensional kernel ridge regression (KRR) on i.i.d. Gaussian data with anisotropic power-law covariance. This setting differs fundamentally from the classical source & capacity conditions for KRR, where power-law assumptions are typically imposed on the kernel eigen-spectrum itself. Our contributions are twofold. First, we derive an explicit characterization of the kernel spectrum for polynomial inner-product kernels, giving a precise description of how the kernel eigen-spectrum inherits the data decay. Second, we provide an asymptotic analysis of the excess risk in the high-dimensional regime for a particular kernel with this spectral behavior, showing that the sample complexity is governed by the effective dimension of the data rather than the ambient dimension. These results establish a fundamental advantage of learning with power-law anisotropic data over isotropic data. To our knowledge, this is the first rigorous treatment of non-linear KRR under power-law data.
• Abstract（参考訳）: 本研究では、ガウスデータの高次元核リッジ回帰(KRR)と異方性パワー-ロー共分散について検討する。 この設定は、KRRの古典的なソースとキャパシティの条件とは根本的に異なる。 私たちの貢献は2倍です。 まず、多項式内積核に対するカーネルスペクトルの明示的な特性を導出し、核固有スペクトルがどのようにデータ崩壊を継承するかを正確に記述する。 第2に、このスペクトル挙動を持つ特定のカーネルの高次元状態における過剰なリスクの漸近解析を行い、サンプルの複雑さは周囲の次元ではなく、データの有効次元によって制御されていることを示す。 これらの結果は、等方性データよりも、パワーロー異方性データによる学習の根本的な優位性を確立している。 我々の知る限り、これは非線形KRRを電力法データの下で厳格に扱う最初の方法である。

関連論文リスト

• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• A Comprehensive Analysis on the Learning Curve in Kernel Ridge Regression [6.749750044497731]
  本稿では,カーネルリッジ回帰(KRR)の学習曲線を最小限の仮定で総合的に研究する。 本稿では, スペクトル固有デカイ, 固有関数の特性, カーネルの滑らかさなど, カーネルのキー特性の役割を解析する。
  論文  参考訳（メタデータ） (2024-10-23T11:52:52Z)
• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Universality of Kernel Random Matrices and Kernel Regression in the Quadratic Regime [11.655527064124074]
  本研究では、カーネル回帰の研究を2次構造に拡張し、$n asymp d2$とする。 具体的には、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。 我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングとテスト誤差を特徴付ける。
  論文  参考訳（メタデータ） (2024-08-02T07:29:49Z)
• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
  本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。 初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
  論文  参考訳（メタデータ） (2024-06-03T15:28:12Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• How rotational invariance of common kernels prevents generalization in high dimensions [8.508198765617196]
  カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。 最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
  論文  参考訳（メタデータ） (2021-04-09T08:27:37Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。