論文の概要: Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
- arxiv url: http://arxiv.org/abs/2605.14524v1
- Date: Thu, 14 May 2026 08:08:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.702566
- Title: Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
- Title（参考訳）: 大次元カーネルリッジ回帰 : 製品カーネルへの拡張
- Authors: Yang Zhou, Yicheng Li, Yuqian Cheng, Qian Lin,
- Abstract要約: 最近の研究では、大次元カーネルリッジ回帰(KRR)において、$textitsaturation effect$および$textitmultiple descend behavior$を報告している。
これらの発見は主に、球面上の内積核や超収縮性のような強い固有関数仮定のような制限的な条件の下で導かれる。
本稿では,大次元カーネルの広い新しいファミリーを確立し,一般化誤差の収束率を導出する。
- 参考スコア（独自算出の注目度）: 25.71027409307372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have reported $\textit{saturation effects}$ and $\textit{multiple descent behavior}$ in large dimensional kernel ridge regression (KRR). However, these findings are predominantly derived under restrictive settings, such as inner product kernels on sphere or strong eigenfunction assumptions like hypercontractivity. Whether such behaviors hold for other kernels remains an open question. In this paper, we establish a broad, new family of large dimensional kernels and derive the corresponding convergence rates of the generalization error. As a result, we recover key phenomena previously associated with inner product kernels on sphere, including: $i)$ the $\textit{minimax optimality}$ when the source condition $s\le 1$; $ii)$ the $\textit{saturation effect}$ when $s>1$; $iii)$ a $\textit{periodic plateau phenomenon}$ in the convergence rate and a $\textit {multiple-descent behavior}$ with respect to the sample size $n$.
- Abstract（参考訳）: 最近の研究では、大次元カーネルリッジ回帰(KRR)において、$\textit{saturation effect}$と$\textit{multiple descend behavior}$が報告されている。
しかし、これらの発見は主に、球面上の内積核や超収縮性のような強い固有関数仮定のような制限的な条件の下で導かれる。
このような振る舞いが他のカーネルに当てはまるかどうかは、未解決の問題である。
本稿では,大次元カーネルの広い新しいファミリーを確立し,一般化誤差の収束率を導出する。
$i)$ the $\textit{minimax optimality}$ when the source condition $s\le 1$; $ii)$ the $\textit{saturation effect}$ when $s>1$; $iii)$ a $\textit{ periodic plateau phenomenon}$ in the convergence rate and a $\textit {multiple-descent behavior}$ for the sample size $n$。
関連論文リスト
- Hardness of High-Dimensional Linear Classification [58.29089693778071]
我々は、最大半空間離散性問題に対する次元下界の新たな指数関数を確立する。
どちらも計算幾何学と機械学習の基本的問題であり、その正確で近似的な形式である。
論文 参考訳（メタデータ） (2026-03-19T15:53:41Z) - On the Intrinsic Dimensions of Data in Kernel Learning [1.675218291152252]
ラプラスカーネルのようなカーネルの場合、実効次元$d_K$はミンコフスキー次元$d_$よりもかなり小さく、正則領域で証明可能であることを示す。
以上の結果から,Laplaceカーネルのようなカーネルの場合,実効次元$d_K$は,通常のドメインに有するMinkowski次元$d_$よりも著しく小さいことが分かる。
論文 参考訳（メタデータ） (2026-01-22T17:32:24Z) - On the Pinsker bound of inner product kernel regression in large dimensions [8.591920836556772]
球面 $mathbbSd$ 上の内積核回帰に対するピンスカー境界について検討する。
我々は、この設定でカーネル回帰の正確なミニマックスリスクを決定し、ミニマックス率だけでなく、過剰リスクに関連するピンスカー定数と呼ばれる正確な定数も特定した。
論文 参考訳（メタデータ） (2024-09-02T03:01:56Z) - Optimal Rates of Kernel Ridge Regression under Source Condition in Large
Dimensions [15.988264513040903]
そこで,カーネルリッジ回帰 (KRR) の大規模挙動について検討し,サンプルサイズ$n asymp dgamma$ for some $gamma > 0$について検討した。
以上の結果から,ガンマ$で変動する速度曲線は周期的台地挙動と多重降下挙動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-02T16:14:35Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Optimal Rate of Kernel Regression in Large Dimensions [13.641780902673792]
我々はまず,大次元データに対する上界と最小値下界のカーネル回帰を特徴付ける汎用ツールを構築する。
我々は、新しいツールを使用して、カーネル回帰の余剰リスクの最小値が$n-1/2$であることを示す。
論文 参考訳（メタデータ） (2023-09-08T11:29:05Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Locality defeats the curse of dimensionality in convolutional
teacher-student scenarios [69.2027612631023]
学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。
我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
論文 参考訳（メタデータ） (2021-06-16T08:27:31Z) - Optimal Spectral Recovery of a Planted Vector in a Subspace [80.02218763267992]
我々は、$ell_4$ノルムが同じ$ell$ノルムを持つガウスベクトルと異なるプラントベクトル$v$の効率的な推定と検出について研究する。
規則$n rho gg sqrtN$ では、大クラスのスペクトル法(そしてより一般的には、入力の低次法)は、植込みベクトルの検出に失敗する。
論文 参考訳（メタデータ） (2021-05-31T16:10:49Z) - Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。
スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
論文 参考訳（メタデータ） (2020-04-12T12:23:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。