論文の概要: A non-asymptotic distributional theory of approximate message passing
for sparse and robust regression
- arxiv url: http://arxiv.org/abs/2401.03923v1
- Date: Mon, 8 Jan 2024 14:34:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 16:06:58.770322
- Title: A non-asymptotic distributional theory of approximate message passing
for sparse and robust regression
- Title（参考訳）: スパースおよびロバスト回帰のための近似メッセージパッシングの非漸近分布理論
- Authors: Gen Li, Yuting Wei
- Abstract要約: 本稿では、近似メッセージパッシング(AMP)のための非漸近分布特性について述べる。
AMPは、高速な推定器と強力な理論機械の両方として有効であることを示す反復アルゴリズムのファミリーである。
- 参考スコア（独自算出の注目度）: 20.830017611900832
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Characterizing the distribution of high-dimensional statistical estimators is
a challenging task, due to the breakdown of classical asymptotic theory in high
dimension. This paper makes progress towards this by developing non-asymptotic
distributional characterizations for approximate message passing (AMP) -- a
family of iterative algorithms that prove effective as both fast estimators and
powerful theoretical machinery -- for both sparse and robust regression. Prior
AMP theory, which focused on high-dimensional asymptotics for the most part,
failed to describe the behavior of AMP when the number of iterations exceeds
$o\big({\log n}/{\log \log n}\big)$ (with $n$ the sample size). We establish
the first finite-sample non-asymptotic distributional theory of AMP for both
sparse and robust regression that accommodates a polynomial number of
iterations. Our results derive approximate accuracy of Gaussian approximation
of the AMP iterates, which improves upon all prior results and implies enhanced
distributional characterizations for both optimally tuned Lasso and robust
M-estimator.
- Abstract（参考訳）: 高次元統計推定器の分布の特徴付けは、高次元の古典漸近理論の崩壊のために難しい課題である。
本稿では, 高速な推定器と強力な理論機械として有効である反復アルゴリズムのファミリであるAMPの非漸近分布特性を, スパースおよびロバストレグレッションの両方に対して開発することによって, これに向けて前進する。
AMP理論は高次元の漸近性に注目していたが、反復数が$o\big({\log n}/{\log \log n}\big)$(サンプルサイズ$n$)を超えるとAMPの振る舞いを記述できなかった。
我々は、多項式数の反復に対応するスパースおよびロバスト回帰の両方に対して、AMPの初めての有限サンプル非漸近分布理論を確立する。
提案手法は, AMP 反復のガウス近似の近似精度を導出し, 最適に調整されたラッソとロバストなM-推定器の分布特性の向上を示唆する。
関連論文リスト
- Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - A Random Matrix Approach to Low-Multilinear-Rank Tensor Approximation [24.558241146742205]
本研究では,データテンソルの展開のスペクトルの多次元的挙動を特徴付け,信号の主方向の検出性を決定する関連信号-雑音比を示す。
その結果,非自明な状態下でのマルチリニアSVD (MLSVD) の再構成性能を正確に予測することができた。
論文 参考訳（メタデータ） (2024-02-05T16:38:30Z) - Approximate message passing from random initialization with applications
to $\mathbb{Z}_{2}$ synchronization [25.511475484340156]
本稿では,未知のランク1行列を先行構造情報で再構成する問題について考察する。
我々は,このモデルでアポキシマトメッセージパッシング(AMP)の非同化的特徴を初めて提供する。
論文 参考訳（メタデータ） (2023-02-07T18:58:08Z) - A Non-Asymptotic Framework for Approximate Message Passing in Spiked
Models [24.786030482013437]
近似メッセージパッシング(AMP)は高次元統計問題を解くための効果的な反復パラダイムとして現れる。
それまでのAMP理論は、反復の数が$obig(fraclog nloglog nbig)$を超えると、AMP力学を予測できなかった。
本稿では,スパイク行列推定におけるAMP理解のための非漸近的枠組みを開発する。
論文 参考訳（メタデータ） (2022-08-05T17:59:06Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Instance-Optimal Compressed Sensing via Posterior Sampling [101.43899352984774]
後部サンプリング推定器がほぼ最適回復保証を達成できることを示す。
本稿では,Langevin dynamics を用いた深部生成前駆体の後方サンプリング推定器を実装し,MAP よりも精度の高い推定値が得られることを実証的に見出した。
論文 参考訳（メタデータ） (2021-06-21T22:51:56Z) - PCA Initialization for Approximate Message Passing in Rotationally
Invariant Models [29.039655256171088]
主成分分析は自然推定器であり、その性能は高次元状態において急激な結果が得られた。
近年,PCAの精度を向上させる可能性のある代替推定器として,AMPアルゴリズムが提案されている。
そこで本研究では,AMPをPCAに初期化する2つの手法を組み合わせて,この推定器の性能を厳密に評価する手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T09:13:51Z) - Approximate Message Passing with Spectral Initialization for Generalized
Linear Models [35.618694363241744]
我々は、近似メッセージパッシング(AMP)に基づく推定器に焦点を当てる。
スペクトル推定器を用いたAMPアルゴリズムを提案する。
また,提案手法の有効性を示す数値的な結果も提供する。
論文 参考訳（メタデータ） (2020-10-07T14:52:35Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。