論文の概要: Global law of conjugate kernel random matrices with heavy-tailed weights

• arxiv url: http://arxiv.org/abs/2502.18428v1
• Date: Tue, 25 Feb 2025 18:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:22:31.517764
• Title: Global law of conjugate kernel random matrices with heavy-tailed weights
• Title（参考訳）: 重み付き重み付き共役核ランダム行列の大域的法則
• Authors: Alice Guionnet, Vanessa Piccolo,
• Abstract要約: 共役核乱数行列$YYtop$のスペクトル挙動について検討し、そこでは2層ニューラルネットワークモデルから$Y=f(WX)$が生じる。 重み付き重みは、Y$の成分の間に強い相関関係を生じさせ、軽み付き重み付きモデルと比較して、より豊かで根本的に異なるスペクトル挙動をもたらすことを示した。
• 参考スコア（独自算出の注目度）: 1.8416014644193066
• License:
• Abstract: We study the asymptotic spectral behavior of the conjugate kernel random matrix $YY^\top$, where $Y= f(WX)$ arises from a two-layer neural network model. We consider the setting where $W$ and $X$ are both random rectangular matrices with i.i.d. entries, where the entries of $W$ follow a heavy-tailed distribution, while those of $X$ have light tails. Our assumptions on $W$ include a broad class of heavy-tailed distributions, such as symmetric $\alpha$-stable laws with $\alpha \in (0,2)$ and sparse matrices with $\mathcal{O}(1)$ nonzero entries per row. The activation function $f$, applied entrywise, is nonlinear, smooth, and odd. By computing the eigenvalue distribution of $YY^\top$ through its moments, we show that heavy-tailed weights induce strong correlations between the entries of $Y$, leading to richer and fundamentally different spectral behavior compared to models with light-tailed weights.
• Abstract（参考訳）: 共役核乱数行列$YY^\top$の漸近スペクトル挙動について検討し、2層ニューラルネットワークモデルから$Y=f(WX)$を求める。 W$ と $X$ のどちらもランダムな長方行列であり、i.d.エントリであり、$W$ のエントリは重い尾の分布に従うが、$X$ のエントリは軽い尾を持つ。 W$ 上の仮定には、対称 $\alpha$-stable law with $\alpha \in (0,2)$ や sparse matrices with $\mathcal{O}(1)$ nonzero entry per row など、ヘビーテール分布の幅広いクラスが含まれる。 アクティベーション関数$f$は、エントリ的に適用され、非線形で滑らかで奇数である。 YY^\top$の固有値分布をそのモーメントを通して計算することにより、重み付き重み付き重み付き重み付き重み付き重み付き重み付きモデルと比較して、よりリッチで根本的に異なるスペクトル挙動をもたらすことが示される。

関連論文リスト

• Distribution of lowest eigenvalue in $k$-body bosonic random matrix ensembles [0.8999666725996978]
  有限多ボソン系の最小固有値分布を$k$-body相互作用で数値的に検討する。 最も低い固有値の分布の最初の4つのモーメントは、$q$パラメータの関数として分析されている。
  論文  参考訳（メタデータ） (2024-04-30T20:44:31Z)
• Universality for the global spectrum of random inner-product kernel matrices in the polynomial regime [12.221087476416056]
  本稿では、この現象が普遍であることを示し、X$がすべての有限モーメントを持つi.d.エントリを持つとすぐに保持する。 非整数$ell$の場合、Marvcenko-Pastur項は消滅する。
  論文  参考訳（メタデータ） (2023-10-27T17:15:55Z)
• $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
  この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。 特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
  論文  参考訳（メタデータ） (2023-09-17T01:45:13Z)
• An Equivalence Principle for the Spectrum of Random Inner-Product Kernel Matrices with Polynomial Scalings [21.727073594338297]
  この研究は、機械学習と統計学の応用によって動機付けられている。 スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。 我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
  論文  参考訳（メタデータ） (2022-05-12T18:50:21Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Deformed semicircle law and concentration of nonlinear random matrices for ultra-wide neural networks [29.03095282348978]
  本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。 経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-09-20T05:25:52Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• Analysis of One-Hidden-Layer Neural Networks via the Resolvent Method [0.0]
  ランダムニューラルネットワークによって動機づけられた確率行列 $M = Y Yast$ と $Y = f(WX)$ を考える。 制限スペクトル分布のStieltjes変換は、いくつかの誤差項まで準自己整合方程式を満たすことを証明している。 さらに、前回の結果を加法バイアス $Y=f(WX+B)$ の場合に拡張し、$B$ は独立なランク1のガウス確率行列である。
  論文  参考訳（メタデータ） (2021-05-11T15:17:39Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。