論文の概要: Approximate Message Passing with Spectral Initialization for Generalized
Linear Models
- arxiv url: http://arxiv.org/abs/2010.03460v2
- Date: Wed, 17 Feb 2021 09:43:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 23:02:33.142833
- Title: Approximate Message Passing with Spectral Initialization for Generalized
Linear Models
- Title（参考訳）: 一般化線形モデルに対するスペクトル初期化を伴う近似メッセージパッシング
- Authors: Marco Mondelli and Ramji Venkataramanan
- Abstract要約: 我々は、近似メッセージパッシング(AMP)に基づく推定器に焦点を当てる。
スペクトル推定器を用いたAMPアルゴリズムを提案する。
また,提案手法の有効性を示す数値的な結果も提供する。
- 参考スコア（独自算出の注目度）: 35.618694363241744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of estimating a signal from measurements obtained via
a generalized linear model. We focus on estimators based on approximate message
passing (AMP), a family of iterative algorithms with many appealing features:
the performance of AMP in the high-dimensional limit can be succinctly
characterized under suitable model assumptions; AMP can also be tailored to the
empirical distribution of the signal entries, and for a wide class of
estimation problems, AMP is conjectured to be optimal among all polynomial-time
algorithms.
However, a major issue of AMP is that in many models (such as phase
retrieval), it requires an initialization correlated with the ground-truth
signal and independent from the measurement matrix. Assuming that such an
initialization is available is typically not realistic. In this paper, we solve
this problem by proposing an AMP algorithm initialized with a spectral
estimator. With such an initialization, the standard AMP analysis fails since
the spectral estimator depends in a complicated way on the design matrix. Our
main contribution is a rigorous characterization of the performance of AMP with
spectral initialization in the high-dimensional limit. The key technical idea
is to define and analyze a two-phase artificial AMP algorithm that first
produces the spectral estimator, and then closely approximates the iterates of
the true AMP. We also provide numerical results that demonstrate the validity
of the proposed approach.
- Abstract（参考訳）: 一般化線形モデルを用いて得られた測定値から信号を推定する問題を考える。
我々は,高次元極限における AMP の性能を,適切なモデル仮定の下で簡潔に特徴付けることができ,AMP は信号入力の実験的分布に合わせることができ,幅広い種類の推定問題に対して,AMP はすべての多項式時間アルゴリズムの中で最適であると推測される。
しかし、AMPの大きな問題は、多くのモデル(位相検索など)において、基底構造信号と相関し、測定行列から独立な初期化が必要であることである。
そのような初期化が可能であると仮定すると、通常は現実的ではない。
本稿では、スペクトル推定器を用いて初期化したAMPアルゴリズムを提案する。
このような初期化では、スペクトル推定器が設計行列に複雑な方法で依存するため、標準AMP解析は失敗する。
我々の主な貢献は、高次元極限におけるスペクトル初期化によるAMPの性能の厳密な評価である。
重要な技術的アイデアは、2相人工的なAMPアルゴリズムを定義し、分析し、まずスペクトル推定器を生成し、次に真のAMPの繰り返しを近似することである。
また,提案手法の有効性を示す数値的な結果も提供する。
関連論文リスト
- A non-asymptotic distributional theory of approximate message passing
for sparse and robust regression [20.830017611900832]
本稿では、近似メッセージパッシング(AMP)のための非漸近分布特性について述べる。
AMPは、高速な推定器と強力な理論機械の両方として有効であることを示す反復アルゴリズムのファミリーである。
論文 参考訳（メタデータ） (2024-01-08T14:34:35Z) - Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。
特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
論文 参考訳（メタデータ） (2023-02-13T19:57:17Z) - Approximate message passing from random initialization with applications
to $\mathbb{Z}_{2}$ synchronization [25.511475484340156]
本稿では,未知のランク1行列を先行構造情報で再構成する問題について考察する。
我々は,このモデルでアポキシマトメッセージパッシング(AMP)の非同化的特徴を初めて提供する。
論文 参考訳（メタデータ） (2023-02-07T18:58:08Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - A Non-Asymptotic Framework for Approximate Message Passing in Spiked
Models [24.786030482013437]
近似メッセージパッシング(AMP)は高次元統計問題を解くための効果的な反復パラダイムとして現れる。
それまでのAMP理論は、反復の数が$obig(fraclog nloglog nbig)$を超えると、AMP力学を予測できなかった。
本稿では,スパイク行列推定におけるAMP理解のための非漸近的枠組みを開発する。
論文 参考訳（メタデータ） (2022-08-05T17:59:06Z) - Estimation in Rotationally Invariant Generalized Linear Models via
Approximate Message Passing [21.871513580418604]
本稿では,信号推定のための近接メッセージパッシング(AMP)アルゴリズムの新たなファミリーを提案する。
我々は、状態進化再帰を通じて高次元の限界におけるそれらの性能を厳格に特徴づける。
論文 参考訳（メタデータ） (2021-12-08T15:20:04Z) - Towards Sample-Optimal Compressive Phase Retrieval with Sparse and
Generative Priors [59.33977545294148]
O(k log L)$サンプルは振幅に基づく経験損失関数を最小化する任意のベクトルに信号が近いことを保証するのに十分であることを示す。
この結果はスパース位相検索に適応し、基底信号が$s$-sparseおよび$n$-dimensionalである場合、$O(s log n)$サンプルは同様の保証に十分であることを示す。
論文 参考訳（メタデータ） (2021-06-29T12:49:54Z) - Instance-Optimal Compressed Sensing via Posterior Sampling [101.43899352984774]
後部サンプリング推定器がほぼ最適回復保証を達成できることを示す。
本稿では,Langevin dynamics を用いた深部生成前駆体の後方サンプリング推定器を実装し,MAP よりも精度の高い推定値が得られることを実証的に見出した。
論文 参考訳（メタデータ） (2021-06-21T22:51:56Z) - PCA Initialization for Approximate Message Passing in Rotationally
Invariant Models [29.039655256171088]
主成分分析は自然推定器であり、その性能は高次元状態において急激な結果が得られた。
近年,PCAの精度を向上させる可能性のある代替推定器として,AMPアルゴリズムが提案されている。
そこで本研究では,AMPをPCAに初期化する2つの手法を組み合わせて,この推定器の性能を厳密に評価する手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T09:13:51Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-11-18T16:40:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。