論文の概要: Universality for the global spectrum of random inner-product kernel
matrices in the polynomial regime
- arxiv url: http://arxiv.org/abs/2310.18280v1
- Date: Fri, 27 Oct 2023 17:15:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 12:57:50.599766
- Title: Universality for the global spectrum of random inner-product kernel
matrices in the polynomial regime
- Title（参考訳）: 多項式系におけるランダム内積核行列の大域的スペクトルの普遍性
- Authors: Sofiia Dubova, Yue M. Lu, Benjamin McKenna, Horng-Tzer Yau
- Abstract要約: 本稿では、この現象が普遍であることを示し、X$がすべての有限モーメントを持つi.d.エントリを持つとすぐに保持する。
非整数$ell$の場合、Marvcenko-Pastur項は消滅する。
- 参考スコア（独自算出の注目度）: 12.221087476416056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider certain large random matrices, called random inner-product kernel
matrices, which are essentially given by a nonlinear function $f$ applied
entrywise to a sample-covariance matrix, $f(X^TX)$, where $X \in \mathbb{R}^{d
\times N}$ is random and normalized in such a way that $f$ typically has
order-one arguments. We work in the polynomial regime, where $N \asymp d^\ell$
for some $\ell > 0$, not just the linear regime where $\ell = 1$. Earlier work
by various authors showed that, when the columns of $X$ are either uniform on
the sphere or standard Gaussian vectors, and when $\ell$ is an integer (the
linear regime $\ell = 1$ is particularly well-studied), the bulk eigenvalues of
such matrices behave in a simple way: They are asymptotically given by the free
convolution of the semicircular and Mar\v{c}enko-Pastur distributions, with
relative weights given by expanding $f$ in the Hermite basis. In this paper, we
show that this phenomenon is universal, holding as soon as $X$ has i.i.d.
entries with all finite moments. In the case of non-integer $\ell$, the
Mar\v{c}enko-Pastur term disappears (its weight in the free convolution
vanishes), and the spectrum is just semicircular.
- Abstract（参考訳）: ランダム内積カーネル行列と呼ばれるある種の大きなランダム行列は、本質的には非線型関数 $f$ がサンプル共分散行列へのエントリワイズ $f(X^TX)$ で与えられるもので、$X \in \mathbb{R}^{d \times N}$ はランダムで正規化され、$f$ は通常オーダーワンの引数を持つ。
多項式系では、$N \asymp d^\ell$ for some $\ell > 0$, not the linear regime where $\ell = 1$.} が成り立つ。
様々な著者による初期の研究によれば、x$ の列が球面上または標準ガウスベクトル上一様であり、$\ell$ が整数であるとき(線形系 $\ell = 1$ は特によく研究されている)、そのような行列のバルク固有値は単純に振る舞う:それらは半円および mar\v{c}enko-pastur 分布の自由畳み込みによって漸近的に与えられる。
本稿では、この現象が普遍であることを示し、X$がすべての有限モーメントを持つi.d.エントリを持つとすぐに保持する。
非整数$\ell$の場合、mar\v{c}enko-pastur項は消滅する(自由畳み込みの重みは消滅する)。
関連論文リスト
- The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳（メタデータ） (2024-10-26T06:21:42Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices with Polynomial Scalings [21.727073594338297]
この研究は、機械学習と統計学の応用によって動機付けられている。
スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。
我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
論文 参考訳（メタデータ） (2022-05-12T18:50:21Z) - Spectrum of inner-product kernel matrices in the polynomial regime and
multiple descent phenomenon in kernel ridge regression [3.997680012976965]
カーネル行列はその次数-$ell$近似によってよく近似される。
行列のスペクトルが分布に収束することを示す。
論文 参考訳（メタデータ） (2022-04-21T22:20:52Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - Algebraic and geometric structures inside the Birkhoff polytope [0.0]
Birkhoff polytope $mathcalB_d$ は位数 $d$ のすべての双確率行列からなる。
我々は、$mathcalL_d$ と $mathcalF_d$ が平面行列に対して星型であることを証明する。
論文 参考訳（メタデータ） (2021-01-27T09:51:24Z) - Emergent universality in critical quantum spin chains: entanglement
Virasoro algebra [1.9336815376402714]
エンタングルメントエントロピーとエンタングルメントスペクトルは、拡張多体系における量子エンタングルメントの特徴付けに広く用いられている。
シュミットベクトル $|v_alpharangle$ は境界 CFT のヴィラソロ代数の実現に対応する創発的普遍構造を示す。
論文 参考訳（メタデータ） (2020-09-23T21:22:51Z) - Average Case Column Subset Selection for Entrywise $\ell_1$-Norm Loss [76.02734481158458]
最悪の場合、行列に対する良いランク-$k$近似を得るには、任意に大きい$nOmega(1)$列数が必要であることが知られている。
最小かつ現実的な分布設定では、ほぼ線形な実行時間を持つ$(k/epsilon)$-approximationとpoly$(k/epsilon)+O(klog n)$ columnsが得られる。
これは、エントリワイズで$(k/epsilon)$-approximationを達成するための任意の種類の最初のアルゴリズムである
論文 参考訳（メタデータ） (2020-04-16T22:57:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。