論文の概要: Quantitative Universality of Approximate Message Passing for Rank-One Quadratic Sensing
- arxiv url: http://arxiv.org/abs/2610.05327v1
- Date: Sun, 04 Oct 2026 15:51:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 21:35:27.291014
- Title: Quantitative Universality of Approximate Message Passing for Rank-One Quadratic Sensing
- Title(参考訳): ランク1擬似センシングのための近似メッセージパッシングの定量的普遍性
- Abstract要約: Approximate Message Passing (AMP)アルゴリズムは、計算効率が良く、正確な特徴を同時に認めるので魅力的である。
本研究は、AMPの定量的普遍性を確立し、中心となる階数1のセンシング行列を$Z_i=(x_ix_itop-I_d)/sqrt d$とする。
- 参考スコア(独自算出の注目度): 12.419537909925083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approximate Message Passing (AMP) algorithms are attractive as they are computationally efficient and simultaneously admit a precise characterization in terms of the low-dimensional "state-evolution" recursion. In this work, we establish quantitative universality for AMP with centered rank-one sensing matrices $Z_i=(x_ix_i^\top-I_d)/\sqrt d$, where $x_i$ are independent standard Gaussian vectors. These matrices arise in quadratic regression and learning quadratic neural networks. Their normalized vectorizations have isotropic covariance in dimension $p=d(d+1)/2$, but strongly dependent coordinates. For linear observations with Gaussian noise and prescribed smooth, bounded spectral denoisers, we compare rank-one sensing with a covariance-matched isotropic Gaussian ensemble. At a fixed iteration horizon, with $n\leq Cp$ and uniform bounds on the normalized signal energy, initialization, coefficients, and first four denoiser derivatives, normalized signal overlaps, cross-time overlaps, and smooth linear spectral statistics differ by $O(d^{-1/2})$ in every fixed $L^m$. This yields universality of the normalized mean-squared error, fixed spectral moments, and empirical spectral distributions. Whenever the Gaussian observables admit a joint state-evolution limit, the same predictions hold under rank-one sensing. The proof uses columnwise Lindeberg replacement, leave-one-out analysis, smooth spectral expansions, and high-moment concentration. For prescribed smooth spectral denoisers, the result establishes the AMP universality conjectured by Maillard et al. (arXiv:2408.03733).
- Abstract(参考訳): Approximate Message Passing (AMP)アルゴリズムは、計算効率が良く、低次元の「状態進化」再帰(state-evolution)による正確な特徴を同時に認めるため、魅力的である。
本研究では、中心となる階数 1 のセンシング行列 $Z_i=(x_ix_i^\top-I_d)/\sqrt d$, ここでは、x_i$ は独立標準ガウスベクトルである。
これらの行列は二次回帰と2次ニューラルネットワークの学習に現れる。
正規化されたベクトル化は次元$p=d(d+1)/2$の等方共変を持つが、強い依存座標を持つ。
ガウス雑音と所定の滑らかで有界なスペクトルデノイザを用いた線形観測では、ランクワンセンシングと共分散整合した等方性ガウスアンサンブルを比較する。
固定された繰り返しの地平線では、$n\leq Cp$と、正規化された信号エネルギー、初期化、係数、および最初の4つのデノイザー微分、正規化された信号重なり、クロスタイム重なり、滑らかな線形スペクトル統計量は、固定された$L^m$ごとに$O(d^{-1/2})$で異なる。
これは正規化平均二乗誤差、固定スペクトルモーメント、経験スペクトル分布の普遍性をもたらす。
ガウス観測者が連立状態進化限界を許すとき、同じ予測はランク1の知覚の下で成り立つ。
この証明は、縦方向リンデベルク置換、残留一点分析、滑らかなスペクトル展開、高モメント濃度を用いている。
所定の滑らかなスペクトル記述に対して、結果は Maillard et al (arXiv:2408.03733) によって予想されるAMP普遍性を確立する。
関連論文リスト
- Private Low-Rank Approximation for Covariance Matrices, Dyson Brownian Motion, and Eigenvalue-Gap Bounds for Gaussian Perturbations [29.212403229351253]
ガウス機構の複素変項を解析し、この機構によって出力される行列と最高のランク-k$近似との差のフロベニウスノルムの上界を求める。
ガウス雑音によって摂動される行列の固有値$M$は高い確率で大きなギャップを持つことを示す。
論文 参考訳(メタデータ) (2025-02-11T15:46:03Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression [1.342834401139078]
本稿では,高次元回帰のための新しい手法であるSpectrumAware Debiasingを紹介する。
我々のアプローチは、構造的、重く、低ランクな構造に関する問題に適用できる。
シミュレーションおよび実データ実験により本手法を実証する。
論文 参考訳(メタデータ) (2023-09-14T15:58:30Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳(メタデータ) (2021-05-03T16:36:27Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-30T19:10:32Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Asymptotic errors for convex penalized linear regression beyond Gaussian
matrices [23.15629681360836]
雑音線形観測から係数ベクトル$x_0$ in$RN$を学習する問題を考察する。
平均二乗誤差に対する明示的な式を厳密に導出する。
我々の予測は、非常に適度なサイズであっても、数値と非常によく一致していることを示す。
論文 参考訳(メタデータ) (2020-02-11T13:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。