論文の概要: Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns
- arxiv url: http://arxiv.org/abs/2109.02644v1
- Date: Mon, 6 Sep 2021 14:21:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 14:30:30.910664
- Title: Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns
- Title(参考訳): 独立な非同分布列を持つランダム行列から生じるサンプル共分散行列のスペクトル特性
- Authors: Cosme Louart and Romain Couillet
- Abstract要約: 関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
- 参考スコア(独自算出の注目度): 50.053491972003656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a random matrix $X= (x_1,\ldots, x_n)\in \mathcal M_{p,n}$ with
independent columns and satisfying concentration of measure hypotheses and a
parameter $z$ whose distance to the spectrum of $\frac{1}{n} XX^T$ should not
depend on $p,n$, it was previously shown that the functionals
$\text{tr}(AR(z))$, for $R(z) = (\frac{1}{n}XX^T- zI_p)^{-1}$ and $A\in
\mathcal M_{p}$ deterministic, have a standard deviation of order $O(\|A\|_* /
\sqrt n)$. Here, we show that $\|\mathbb E[R(z)] - \tilde R(z)\|_F \leq
O(1/\sqrt n)$, where $\tilde R(z)$ is a deterministic matrix depending only on
$z$ and on the means and covariances of the column vectors $x_1,\ldots, x_n$
(that do not have to be identically distributed). This estimation is key to
providing accurate fluctuation rates of functionals of $X$ of interest (mostly
related to its spectral properties) and is proved thanks to the introduction of
a semi-metric $d_s$ defined on the set $\mathcal D_n(\mathbb H)$ of diagonal
matrices with complex entries and positive imaginary part and satisfying, for
all $D,D' \in \mathcal D_n(\mathbb H)$: $d_s(D,D') = \max_{i\in[n]} |D_i -
D_i'|/ (\Im(D_i) \Im(D_i'))^{1/2}$. Possibly most importantly, the underlying
concentration of measure assumption on the columns of $X$ finds an extremely
natural ground for application in modern statistical machine learning
algorithms where non-linear Lipschitz mappings and high number of classes form
the base ingredients.
- Abstract(参考訳): ランダム行列 $X= (x_1,\ldots, x_n)\in \mathcal M_{p,n}$ が独立な列を持ち、測度仮説の濃度を満足するパラメータ $z$ が$\frac{1}{n} XX^T$ のスペクトルまでの距離が $p,n$ に依存しないことを与えられたとき、関数 $\text{tr}(AR(z))$, for $R(z) = (\frac{1}{n}XX^T-zI_p)^{-1}$ と $A\in \mathcal M_{p}$ の標準偏差が $O(\|A|\|*\sq \rt$)$ であることを示した。
ここでは、$\|\mathbb E[R(z)] - \tilde R(z)\|_F \leq O(1/\sqrt n)$, ここで、$\tilde R(z)$ は $z$ にのみ依存する決定論的行列であり、列ベクトル $x_1,\ldots, x_n$ の手段と共分散に依存する。
この推定は、$X$の関数の正確なゆらぎ率(主にスペクトル特性に関連する)を提供する鍵であり、複素エントリと正の虚部を持ち、すべての$D,D' \in \mathcal D_n(\mathbb H)$: $d_s(D,D') = \max_{i\in[n]} |D_iD_i'|/(\Im(D_i) \Im(D_i)^{1/2}$で定義される半計量の$d_s$の導入によって証明される。
おそらく最も重要なのは、$X$の列上の測度仮定の根底にある濃度は、非線形リプシッツ写像と多くのクラスが基本成分となる現代の統計機械学習アルゴリズムに適用するための非常に自然な基盤を見つけることである。
関連論文リスト
- Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳(メタデータ) (2024-02-06T15:39:09Z) - Universality for the global spectrum of random inner-product kernel
matrices in the polynomial regime [12.221087476416056]
本稿では、この現象が普遍であることを示し、X$がすべての有限モーメントを持つi.d.エントリを持つとすぐに保持する。
非整数$ell$の場合、Marvcenko-Pastur項は消滅する。
論文 参考訳(メタデータ) (2023-10-27T17:15:55Z) - Learning linear dynamical systems under convex constraints [4.4351901934764975]
線形力学系を単一軌道の$T$サンプルから同定する問題を考察する。
A*$は、制約のない設定に必要な値よりも$T$小さい値を確実に見積もることができる。
論文 参考訳(メタデータ) (2023-03-27T11:49:40Z) - A General Algorithm for Solving Rank-one Matrix Sensing [15.543065204102714]
マトリックスセンシングの目標は、一連の測定に基づいて、mathbbRn×n$の行列$A_starを復元することである。
本稿では、このランク-$kの仮定を緩和し、より一般的な行列センシング問題を解く。
論文 参考訳(メタデータ) (2023-03-22T04:07:26Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳(メタデータ) (2021-10-05T09:33:49Z) - Optimal Spectral Recovery of a Planted Vector in a Subspace [80.02218763267992]
我々は、$ell_4$ノルムが同じ$ell$ノルムを持つガウスベクトルと異なるプラントベクトル$v$の効率的な推定と検出について研究する。
規則$n rho gg sqrtN$ では、大クラスのスペクトル法(そしてより一般的には、入力の低次法)は、植込みベクトルの検出に失敗する。
論文 参考訳(メタデータ) (2021-05-31T16:10:49Z) - Two-way kernel matrix puncturing: towards resource-efficient PCA and
spectral clustering [43.50783459690612]
この方法は、データマトリックス$XinmathbbCptimes n$と対応するカーネル(Gram)マトリックス$K$の両方をBernoulliマスクを介してランダムに「切断」する。
我々は、GAN生成した画像データベースを実証的に確認し、データを劇的にパンクし、巨大な計算とストレージのゲインを提供することができることを確認した。
論文 参考訳(メタデータ) (2021-02-24T14:01:58Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳(メタデータ) (2020-11-21T01:33:15Z) - The Average-Case Time Complexity of Certifying the Restricted Isometry
Property [66.65353643599899]
圧縮センシングにおいて、100万倍のN$センシング行列上の制限等尺性(RIP)はスパースベクトルの効率的な再構成を保証する。
Mtimes N$ matrices with i.d.$mathcalN(0,1/M)$ entry。
論文 参考訳(メタデータ) (2020-05-22T16:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。