論文の概要: Data eccentricity, asymptotics of Gaussian RBF reproducing kernel Hilbert space, and kernel PCA
- arxiv url: http://arxiv.org/abs/2607.21823v1
- Date: Thu, 23 Jul 2026 21:18:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.002445
- Title: Data eccentricity, asymptotics of Gaussian RBF reproducing kernel Hilbert space, and kernel PCA
- Title(参考訳): データ偏心性、ガウスRBF再生カーネルヒルベルト空間の漸近性、およびカーネルPCA
- Abstract要約: 等方スケーリングにおいて、ガウス RBF カーネル空間は、大きな帯域幅制限でヒルベルト等方性をユークリッド空間に再現していることを示す。
また、カーネルPCAについても検討し、ガウスRBF固有値、固有射影、および主成分が全て古典的(線形)の成分に帯域幅として収束していることを示す。
さまざまなデータセットのコレクションに対する実験では、$がデータセット固有の収束挙動の単純で信頼性の高い予測器を提供することを示している。
- 参考スコア(独自算出の注目度): 4.061135251278187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that, up to isotropic scaling, the Gaussian RBF reproducing kernel Hilbert space (RKHS) is asymptotically isometric to Euclidean space in the large bandwidth limit. This strongly suggests that kernel-based constructions reliant on metric properties of the RKHS will yield results for Gaussian RBF kernels that similarly approach those of linear kernels for large bandwidths. The asymptotic behavior of Gaussian CKA can be understood in this light. We further consider kernel PCA, showing that Gaussian RBF eigenvalues, eigenprojections, and principal components all converge to those of classical (linear) PCA as bandwidth $σ\rightarrow \infty$. For a given data representation, both the RKHS feature embeddings and the orthogonal PCA eigenframes of the two kernel types differ asymptotically by a geometric similarity transformation, up to a residual of size $O \left (\fracρσ \right )^2$, where $ρ$ is a measure of geometric eccentricity of the representation, equal to the ratio of maximum to median pairwise distance between data examples. Experiments over a diverse collection of data sets demonstrate that $ρ$ provides a simple and reliable predictor of dataset-specific convergence behavior in the top principal directions.
- Abstract(参考訳): 等方スケーリングにおいて、ガウスRBF再生カーネルヒルベルト空間(RKHS)は、大きな帯域幅制限のユークリッド空間に漸近的に等方性を持つことを示す。
このことは、RKHSの計量特性に依存するカーネルベース構造が、同様に大きな帯域幅の線形カーネルに近づくガウスRBFカーネルの結果をもたらすことを強く示唆している。
ガウスCKAの漸近挙動はこの光で理解することができる。
さらにカーネル PCA を考えると、ガウス RBF 固有値、固有射影、および主成分はすべて古典的(線型) PCA の成分に帯域幅 $σ\rightarrow \infty$ として収束することを示す。
与えられたデータ表現に対して、RKHS特徴埋め込みと2つのカーネル型の直交PCA固有フレームは、幾何的類似性変換によって漸近的に異なっており、$O \left (\fracρσ \right )^2$である。
多様なデータセットのコレクションに対する実験により、$ρ$はデータセット固有の収束挙動を最上位の方向でシンプルで信頼性の高い予測器を提供することが示された。
関連論文リスト
- Kernel ridge regression under power-law data: spectrum and generalization [10.479735444470535]
ガウスデータの高次元核リッジ回帰(KRR)と異方性パワー-ロー共分散について検討する。
この設定は、KRRの古典的なソースとキャパシティの条件とは根本的に異なる。
我々の知る限り、これは非線形KRRを電力法データの下で厳格に扱う最初の方法である。
論文 参考訳(メタデータ) (2025-10-06T12:58:35Z) - Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳(メタデータ) (2024-10-03T17:06:06Z) - Gaussian kernel expansion with basis functions uniformly bounded in $\mathcal{L}_{\infty}$ [0.6138671548064355]
カーネル拡張は、機械学習にかなりの関心を持つトピックである。
この論文における最近の研究は、$mathcalL_infty$で一様有界基底関数を仮定することによって、これらの結果のいくつかを導いた。
我々の主な成果は、任意の$p>1$に対して$ell_p$の重みを持つガウス核展開の$mathbbR2$の構築である。
論文 参考訳(メタデータ) (2024-10-02T10:10:30Z) - Universality of Kernel Random Matrices and Kernel Regression in the Quadratic Regime [11.655527064124074]
本研究では、カーネル回帰の研究を2次構造に拡張し、$n asymp d2$とする。
具体的には、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。
我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングとテスト誤差を特徴付ける。
論文 参考訳(メタデータ) (2024-08-02T07:29:49Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - Simplex Random Features [53.97976744884616]
ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
論文 参考訳(メタデータ) (2023-01-31T18:53:39Z) - Sinusoidal Sensitivity Calculation for Line Segment Geometries [0.0]
本稿では,Kernらによって提案された正弦波コイル感度モデルに対する閉形式解を提案する。
これにより、地道デビアスデータセットに対する様々なシミュレーションバイアス場の正確な計算が可能になる。
論文 参考訳(メタデータ) (2022-08-05T09:30:55Z) - An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices with Polynomial Scalings [21.727073594338297]
この研究は、機械学習と統計学の応用によって動機付けられている。
スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。
我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
論文 参考訳(メタデータ) (2022-05-12T18:50:21Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-06-18T08:33:45Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳(メタデータ) (2020-06-09T02:05:40Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳(メタデータ) (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。