論文の概要: Dimension-Free Rank Lifting from Random Hyperplane Arrangements
- arxiv url: http://arxiv.org/abs/2609.39855v1
- Date: Wed, 30 Sep 2026 14:43:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.92346
- Title: Dimension-Free Rank Lifting from Random Hyperplane Arrangements
- Title（参考訳）: ランダム超平面配置による次元自由ランクリフティング
- Abstract要約: ニューラルネットワークのランダムに隠された層がランクリフトを達成するのに必要な幅について検討する。
また,定位昇降法についても検討し,その目的は正位昇降の定量的な類似性を確立することである。
- 参考スコア（独自算出の注目度）: 3.1491716957850056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the width required for a randomly initialized hidden layer of a neural network to achieve rank lifting. Namely, given a dataset $X \in \mathbb{R}^{m \times d}$ of $m$, $d$-dimensional input vectors separated by an angle of at least $θ$, we consider the random feature matrix $σ(XR)$, where $R$ is standard Gaussian. For positively homogeneous nonpolynomial activations, which include sign, Heaviside, ReLU, and ReLU powers among others, we prove that $$n \gtrsim \frac{1}θ\max\left\{m,\log\left(\frac{1}δ\right)\right\}$$ neurons suffice for $σ(XR)$ to have full row rank $m$ with probability at least $1-δ$. This dimension-free bound exponentially improves the previous general-dimensional guarantee for sign features (Drago et al., 2026) and is essentially tight. The proof shows that one random feature column escapes every proper subspace of $\mathbb{R}^m$ with probability $Ω(θ)$, using a coupling of nearby Gaussian directions and a local crossing of the induced hyperplane arrangement. We also study stable rank lifting, where the goal is to establish a quantitative analogue of exact rank lifting, i.e., a lower bound on the smallest eigenvalue of the empirical feature Gram matrix in high-probability. Our analysis unifies and generalizes stable rank guarantees for all $q$-homogeneous non-polynomial activations following prior work in Panigrahi et al. (2020) and Song (2026). In particular, we combine a diagonally dominant Taylor tail of the population kernel with truncation and matrix concentration, to show that for positively homogeneous nonpolynomial activations, stable rank lifting is achieved at width $$n \gtrsim C^q \frac{m}{θ^{2q+1}} \log^{2q+\frac{1}{2}}\left(\frac{m}θ\right) \log\left(\frac{m}δ\right),$$ where $q$ is the degree of the activation and $C > 0$ is some universal constant.
- Abstract（参考訳）: ニューラルネットワークのランダムに初期化して隠された層に要求される幅を調べた。
すなわち、データセット $X \in \mathbb{R}^{m \times d}$ of $m$, $d$-次元入力ベクトルを少なくとも$θ$の角度で分離すると、ランダムな特徴行列 $σ(XR)$ を考える。
符号、Heaviside、ReLU、ReLUなどを含む正に同質な非ポリノミカルな活性化に対して、$$n \gtrsim \frac{1}θ\max\left\{m,\log\left(\frac{1}δ\right)\right\}$$$$のニューロンが$σ(XR)$に対して$m$で確率が1-δ$であることを示す。
この次元自由境界は、符号特徴に対する以前の一般次元保証(Drago et al , 2026)を指数関数的に改善し、本質的に密である。
この証明は、1つのランダムな特徴列が$\mathbb{R}^m$ のすべての固有部分空間を確率 $Ω(θ)$ で脱出し、近くのガウス方向の結合と誘導された超平面配置の局所的交叉を用いて示している。
また、安定な階調昇降について研究し、その目的は、厳密な階調昇降の定量的な類似、すなわち、高確率における経験的特徴量グラム行列の最小固有値に対する下界を確立することである。
我々の分析は、Panigrahi et al (2020) と Song (2026) の先行研究の後、全ての$q$-均一な非ポリノミカルアクティベーションに対する安定なランク保証を統一し、一般化する。
特に、集団核の対角的に支配的なテイラー尾と切り離しと行列濃度を組み合わせることで、正に同質な非ポリノミカル活性化に対して、安定な階上げは、$$n \gtrsim C^q \frac{m}{θ^{2q+1}} \log^{2q+\frac{1}{2}}\left(\frac{m}θ\right) \log\left(\frac{m}δ\right)$$$$q$が活性化の次数であり、$C>0$が普遍定数であることを示す。
関連論文リスト
- Rank-One Signal Recovery in Sparse Wishart Noise [2.0391237204597368]
信号ベクトル $mathbfx$ の高次元的回復について,ワイシュアート様ノイズの存在下で検討した。
本研究は, 高密度限界において, 回復しきい値と固有統計値が古典的BBP遷移によって予測された結果に収束することを示す。
論文 参考訳（メタデータ） (2026-09-23T14:11:42Z) - Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。
我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
論文 参考訳（メタデータ） (2026-03-20T01:53:44Z) - Permanents of matrix ensembles: computation, distribution, and geometry [0.0]
我々はGPUを使用して、$mathbbC,$mathbbR,$ $mathbbF_p$および$mathbbQ.$以上の永久体の計算を劇的に高速化する。
我々は、一元群における恒久的な測地学について研究する。
恒等式から$n$-サイクル置換行列への測地論について、普遍スケーリング関数 $f(t)=frac1nln|perm((t))|$ は$n$ in とは独立である。
論文 参考訳（メタデータ） (2026-02-08T22:31:42Z) - Global law of conjugate kernel random matrices with heavy-tailed weights [1.8416014644193066]
共役核乱数行列$YYtop$のスペクトル挙動について検討し、そこでは2層ニューラルネットワークモデルから$Y=f(WX)$が生じる。
重み付き重みは、Y$の成分の間に強い相関関係を生じさせ、軽み付き重み付きモデルと比較して、より豊かで根本的に異なるスペクトル挙動をもたらすことを示した。
論文 参考訳（メタデータ） (2025-02-25T18:22:58Z) - The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳（メタデータ） (2024-10-26T06:21:42Z) - Perturbation Analysis of Randomized SVD and its Applications to Statistics [8.731676546744353]
RSVD(英: RSVD)は、大規模データ行列の切り詰められたSVDを計算するための計算効率のよいアルゴリズムのクラスである。
本稿では、$ell$ と $ell_2,infty$ の正則特異ベクトル $widehatmathbfU$ と $widehatmathbfM$ の上限を導出する。
理論結果を、$widehatmathbfM$ が観測されていない信号行列 $mathbfM$ の加法摂動であるような設定に適用する。
論文 参考訳（メタデータ） (2022-03-19T07:26:45Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳（メタデータ） (2020-11-21T01:33:15Z) - Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and
ReLUs under Gaussian Marginals [49.60752558064027]
ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。
我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
論文 参考訳（メタデータ） (2020-06-29T17:10:10Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。