論文の概要: Largest Eigenvalues of the Conjugate Kernel of Single-Layered Neural
Networks
- arxiv url: http://arxiv.org/abs/2201.04753v1
- Date: Thu, 13 Jan 2022 00:48:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-15 02:00:54.217304
- Title: Largest Eigenvalues of the Conjugate Kernel of Single-Layered Neural
Networks
- Title（参考訳）: 単層ニューラルネットワークの共役カーネルの最大固有値
- Authors: Lucas Benigni, Sandrine P\'ech\'e
- Abstract要約: 最大固有値は、よく知られた線形確率行列のアンサンブルと同じ極限(確率)を持つことを示す。
これは機械学習の応用にとって大きな関心事かもしれない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper is concerned with the asymptotic distribution of the largest
eigenvalues for some nonlinear random matrix ensemble stemming from the study
of neural networks. More precisely we consider $M= \frac{1}{m} YY^\top$ with
$Y=f(WX)$ where $W$ and $X$ are random rectangular matrices with i.i.d.
centered entries. This models the data covariance matrix or the Conjugate
Kernel of a single layered random Feed-Forward Neural Network. The function $f$
is applied entrywise and can be seen as the activation function of the neural
network. We show that the largest eigenvalue has the same limit (in
probability) as that of some well-known linear random matrix ensembles. In
particular, we relate the asymptotic limit of the largest eigenvalue for the
nonlinear model to that of an information-plus-noise random matrix,
establishing a possible phase transition depending on the function $f$ and the
distribution of $W$ and $X$. This may be of interest for applications to
machine learning.
- Abstract（参考訳）: 本稿では,ニューラルネットワークの研究から得られた非線形ランダム行列アンサンブルに対する最大固有値の漸近分布について検討する。
より正確には、$M= \frac{1}{m} YY^\top$ with $Y=f(WX)$ ここで$W$と$X$は、i.d.中心のエントリを持つランダムな矩形行列である。
これは、単一の層状ランダムフィードフォワードニューラルネットワークのデータ共分散行列または共役核をモデル化する。
関数 $f$ はエントリ単位で適用され、ニューラルネットワークの活性化関数と見なすことができる。
最大固有値は、よく知られた線形確率行列のアンサンブルと同じ極限(確率)を持つことを示す。
特に、非線形モデルにおける最大固有値の漸近限界と情報プラスノイズ確率行列の漸近限界を関連付け、関数 $f$ と$w$ と $x$ の分布に依存する位相遷移を可能にする。
これは機械学習の応用に注目されるかもしれない。
関連論文リスト
- Private Covariance Approximation and Eigenvalue-Gap Bounds for Complex
Gaussian Perturbations [28.431572772564518]
この機構によって出力される行列と最高ランクの$k$の近似との差のフロベニウスノルムが、およそ$tildeO(sqrtkd)$で有界であることを示す。
これは、$M$のすべてのトップ-$k$固有値間のギャップが、同じ境界に対して少なくとも$sqrtd$であることを要求する以前の作業を改善する。
論文 参考訳（メタデータ） (2023-06-29T03:18:53Z) - Near-optimal fitting of ellipsoids to random points [68.12685213894112]
楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。
我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。
我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
論文 参考訳（メタデータ） (2022-08-19T18:00:34Z) - An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices with Polynomial Scalings [21.727073594338297]
この研究は、機械学習と統計学の応用によって動機付けられている。
スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。
我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
論文 参考訳（メタデータ） (2022-05-12T18:50:21Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳（メタデータ） (2021-12-23T04:05:01Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Deformed semicircle law and concentration of nonlinear random matrices
for ultra-wide neural networks [29.03095282348978]
本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。
経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
論文 参考訳（メタデータ） (2021-09-20T05:25:52Z) - Analysis of One-Hidden-Layer Neural Networks via the Resolvent Method [0.0]
ランダムニューラルネットワークによって動機づけられた確率行列 $M = Y Yast$ と $Y = f(WX)$ を考える。
制限スペクトル分布のStieltjes変換は、いくつかの誤差項まで準自己整合方程式を満たすことを証明している。
さらに、前回の結果を加法バイアス $Y=f(WX+B)$ の場合に拡張し、$B$ は独立なランク1のガウス確率行列である。
論文 参考訳（メタデータ） (2021-05-11T15:17:39Z) - Two-way kernel matrix puncturing: towards resource-efficient PCA and
spectral clustering [43.50783459690612]
この方法は、データマトリックス$XinmathbbCptimes n$と対応するカーネル(Gram)マトリックス$K$の両方をBernoulliマスクを介してランダムに「切断」する。
我々は、GAN生成した画像データベースを実証的に確認し、データを劇的にパンクし、巨大な計算とストレージのゲインを提供することができることを確認した。
論文 参考訳（メタデータ） (2021-02-24T14:01:58Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-30T19:10:32Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。