論文の概要: An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices with Polynomial Scalings
- arxiv url: http://arxiv.org/abs/2205.06308v2
- Date: Fri, 5 May 2023 21:23:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 01:05:11.323996
- Title: An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices with Polynomial Scalings
- Title（参考訳）: 多項式スケーリングをもつランダムな内積核行列のスペクトルの同値原理
- Authors: Yue M. Lu and Horng-Tzer Yau
- Abstract要約: この研究は、機械学習と統計学の応用によって動機付けられている。
スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。
我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
- 参考スコア（独自算出の注目度）: 21.727073594338297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate random matrices whose entries are obtained by applying a
nonlinear kernel function to pairwise inner products between $n$ independent
data vectors, drawn uniformly from the unit sphere in $\mathbb{R}^d$. This
study is motivated by applications in machine learning and statistics, where
these kernel random matrices and their spectral properties play significant
roles. We establish the weak limit of the empirical spectral distribution of
these matrices in a polynomial scaling regime, where $d, n \to \infty$ such
that $n / d^\ell \to \kappa$, for some fixed $\ell \in \mathbb{N}$ and $\kappa
\in (0, \infty)$. Our findings generalize an earlier result by Cheng and
Singer, who examined the same model in the linear scaling regime (with $\ell =
1$).
Our work reveals an equivalence principle: the spectrum of the random kernel
matrix is asymptotically equivalent to that of a simpler matrix model,
constructed as a linear combination of a (shifted) Wishart matrix and an
independent matrix sampled from the Gaussian orthogonal ensemble. The aspect
ratio of the Wishart matrix and the coefficients of the linear combination are
determined by $\ell$ and the expansion of the kernel function in the orthogonal
Hermite polynomial basis. Consequently, the limiting spectrum of the random
kernel matrix can be characterized as the free additive convolution between a
Marchenko-Pastur law and a semicircle law. We also extend our results to cases
with data vectors sampled from isotropic Gaussian distributions instead of
spherical distributions.
- Abstract（参考訳）: 我々は、$n$独立なデータベクトル間のペアの内積に非線形カーネル関数を適用して得られるランダム行列を、$\mathbb{R}^d$の単位球面から一様に描画する。
この研究は、これらのカーネルランダム行列とそのスペクトル特性が重要な役割を果たす機械学習や統計学の応用によって動機付けられている。
そこで、ある固定された $\ell \in \mathbb{n}$ と $\kappa \in (0, \infty)$ に対して、$n / d^\ell \to \kappa$ となるような多項式スケーリング系において、これらの行列の経験的スペクトル分布の弱い極限を確立する。
以上の結果から,Cheng と Singer が線形スケーリング系において同じモデルを ($\ell = 1$ で) 検討した結果を一般化した。
ランダムカーネル行列のスペクトルは、(シフトした)ウィシャー行列とガウス直交アンサンブルからサンプリングされた独立行列の線形結合として構成される、より単純な行列モデルのスペクトルと漸近的に等価である。
ウィッシュアート行列のアスペクト比と線形結合の係数は、直交エルミート多項式基底における$\ell$とカーネル関数の拡張によって決定される。
したがって、ランダムカーネル行列の制限スペクトルは、マルケンコ・パストゥル則と半円則の間の自由加法的畳み込みとして特徴づけることができる。
また、球面分布ではなく等方性ガウス分布からサンプリングされたデータベクトルの場合にも結果を拡張する。
関連論文リスト
- Universality of kernel random matrices and kernel regression in the quadratic regime [18.51014786894174]
本研究では、カーネルカーネルの回帰の研究を二次構造にまで拡張する。
我々は、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。
我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングと一般化誤差を特徴づける。
論文 参考訳（メタデータ） (2024-08-02T07:29:49Z) - Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。
重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。
我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
論文 参考訳（メタデータ） (2024-05-23T12:26:25Z) - Universality for the global spectrum of random inner-product kernel
matrices in the polynomial regime [12.221087476416056]
本稿では、この現象が普遍であることを示し、X$がすべての有限モーメントを持つi.d.エントリを持つとすぐに保持する。
非整数$ell$の場合、Marvcenko-Pastur項は消滅する。
論文 参考訳（メタデータ） (2023-10-27T17:15:55Z) - Quantitative deterministic equivalent of sample covariance matrices with
a general dependence structure [0.0]
我々は、次元とスペクトルパラメータの両方を含む量的境界を証明し、特に実正の半直線に近づくことを可能にする。
応用として、これらの一般モデルの経験スペクトル分布のコルモゴロフ距離の収束の新しい境界を得る。
論文 参考訳（メタデータ） (2022-11-23T15:50:31Z) - Leverage Score Sampling for Tensor Product Matrices in Input Sparsity
Time [54.65688986250061]
我々は,$q$-foldカラムワイドテンソル積の$q$行列に対応するグラム行列を近似するための入力空間時間サンプリングアルゴリズムを提案する。
我々のサンプリング技術は、合計時間でデータセット$X$に同時に適用できる$q$部分相関ランダムプロジェクションのコレクションに依存している。
論文 参考訳（メタデータ） (2022-02-09T15:26:03Z) - Largest Eigenvalues of the Conjugate Kernel of Single-Layered Neural
Networks [0.0]
最大固有値は、よく知られた線形確率行列のアンサンブルと同じ極限(確率)を持つことを示す。
これは機械学習の応用にとって大きな関心事かもしれない。
論文 参考訳（メタデータ） (2022-01-13T00:48:20Z) - Eigenvalue Distribution of Large Random Matrices Arising in Deep Neural
Networks: Orthogonal Case [1.6244541005112747]
本論文は, 入力出力ヤコビアンの無限幅限界における入力出力ヤコビアンの特異値の分布を取り扱う。
これらの場合、無限幅の極限におけるヤコビアンの特異値分布は、特別なランダムだがウェイト独立な対角行列を持つヤコビアンの類似値と一致すると主張された。
論文 参考訳（メタデータ） (2022-01-12T16:33:47Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳（メタデータ） (2021-12-23T04:05:01Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳（メタデータ） (2021-02-15T13:24:41Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-30T19:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。