論文の概要: An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices
- arxiv url: http://arxiv.org/abs/2205.06308v1
- Date: Thu, 12 May 2022 18:50:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 02:23:15.177305
- Title: An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices
- Title（参考訳）: ランダムな内積核行列のスペクトルに対する同値原理
- Authors: Yue M. Lu and Horng-Tzer Yau
- Abstract要約: 我々は、(非線形)カーネル関数をペアの内積に適用することにより、エントリが得られるランダム行列を考える。
このモデルは、機械学習、統計学、信号処理における問題によって動機付けられている。
mathbbN および $kappain mathbb の固定的な $ell に対して、$d, n から infty$ に対する $n / dell to kappa in (0, infty)$ のとき、これらの行列の経験スペクトル分布の弱極限を確立する。
- 参考スコア（独自算出の注目度）: 21.727073594338297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider random matrices whose entries are obtained by applying a
(nonlinear) kernel function to the pairwise inner products between $n$
independent data vectors drawn uniformly from the unit sphere in
$\mathbb{R}^d$. Our study of this model is motivated by problems in machine
learning, statistics, and signal processing, where such inner-product kernel
random matrices and their spectral properties play important roles. Under mild
conditions on the kernel function, we establish the weak-limit of the empirical
spectral distribution of these matrices when $d, n \to \infty$ such that $n /
d^\ell \to \kappa \in (0, \infty)$, for some fixed $\ell \in \mathbb{N}$ and
$\kappa \in \mathbb{R}$. This generalizes an earlier result of Cheng and Singer
(2013), who studied the same model in the linear scaling regime (with $\ell =
1$ and $n/d \to \kappa$). The main insight of our work is a general equivalence
principle: the spectrum of the random kernel matrix is asymptotically
equivalent to that of a simpler matrix model, constructed as the linear
combination of a (shifted) Wishart matrix and an independent matrix drawn from
the Gaussian orthogonal ensemble. The aspect ratio of the Wishart matrix and
the coefficients of the linear combination are determined by $\ell$ and by the
expansion of the kernel function in the orthogonal Hermite polynomial basis.
Consequently, the limiting spectrum of the random kernel matrix can be
characterized as the free additive convolution between a Marchenko-Pastur law
and a semicircle law.
- Abstract（参考訳）: 我々は、$\mathbb{R}^d$ の単位球面から一様に描画された$n$独立なデータベクトル間の対の内積に(非線形)カーネル関数を適用することで、成分を得るランダム行列を考える。
このモデルの研究は、内部積のカーネルランダム行列とそのスペクトル特性が重要な役割を果たす機械学習、統計、信号処理の問題によって動機付けられている。
核関数上の穏やかな条件の下では、いくつかの固定された $\ell \in \mathbb{n}$ と $\kappa \in \mathbb{r}$ に対して、$n / d^\ell \to \kappa \in (0, \infty)$ となるようなとき、これらの行列の経験的スペクトル分布の弱極限を確立する。
これは、線形スケーリング法($\ell = 1$ と $n/d \to \kappa$)で同じモデルを研究したcheng and singer (2013)の初期の結果を一般化している。
ランダムカーネル行列のスペクトルは、(シフトした)ウィッシュアート行列とガウス直交アンサンブルから引き出された独立行列の線型結合として構築された単純な行列モデルのスペクトルと漸近的に等価である。
ウィッシュアート行列のアスペクト比と線形結合の係数は$\ell$と直交エルミート多項式基底におけるカーネル関数の拡張によって決定される。
したがって、ランダムカーネル行列の制限スペクトルは、マルケンコ・パストゥル則と半円則の間の自由加法的畳み込みとして特徴づけることができる。
関連論文リスト
- Universality of kernel random matrices and kernel regression in the quadratic regime [18.51014786894174]
本研究では、カーネルカーネルの回帰の研究を二次構造にまで拡張する。
我々は、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。
我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングと一般化誤差を特徴づける。
論文 参考訳（メタデータ） (2024-08-02T07:29:49Z) - Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。
重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。
我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
論文 参考訳（メタデータ） (2024-05-23T12:26:25Z) - Universality for the global spectrum of random inner-product kernel
matrices in the polynomial regime [12.221087476416056]
本稿では、この現象が普遍であることを示し、X$がすべての有限モーメントを持つi.d.エントリを持つとすぐに保持する。
非整数$ell$の場合、Marvcenko-Pastur項は消滅する。
論文 参考訳（メタデータ） (2023-10-27T17:15:55Z) - Quantitative deterministic equivalent of sample covariance matrices with
a general dependence structure [0.0]
我々は、次元とスペクトルパラメータの両方を含む量的境界を証明し、特に実正の半直線に近づくことを可能にする。
応用として、これらの一般モデルの経験スペクトル分布のコルモゴロフ距離の収束の新しい境界を得る。
論文 参考訳（メタデータ） (2022-11-23T15:50:31Z) - Leverage Score Sampling for Tensor Product Matrices in Input Sparsity
Time [54.65688986250061]
我々は,$q$-foldカラムワイドテンソル積の$q$行列に対応するグラム行列を近似するための入力空間時間サンプリングアルゴリズムを提案する。
我々のサンプリング技術は、合計時間でデータセット$X$に同時に適用できる$q$部分相関ランダムプロジェクションのコレクションに依存している。
論文 参考訳（メタデータ） (2022-02-09T15:26:03Z) - Largest Eigenvalues of the Conjugate Kernel of Single-Layered Neural
Networks [0.0]
最大固有値は、よく知られた線形確率行列のアンサンブルと同じ極限(確率)を持つことを示す。
これは機械学習の応用にとって大きな関心事かもしれない。
論文 参考訳（メタデータ） (2022-01-13T00:48:20Z) - Eigenvalue Distribution of Large Random Matrices Arising in Deep Neural
Networks: Orthogonal Case [1.6244541005112747]
本論文は, 入力出力ヤコビアンの無限幅限界における入力出力ヤコビアンの特異値の分布を取り扱う。
これらの場合、無限幅の極限におけるヤコビアンの特異値分布は、特別なランダムだがウェイト独立な対角行列を持つヤコビアンの類似値と一致すると主張された。
論文 参考訳（メタデータ） (2022-01-12T16:33:47Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳（メタデータ） (2021-12-23T04:05:01Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳（メタデータ） (2021-02-15T13:24:41Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-30T19:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。