論文の概要: PCA Initialization for Approximate Message Passing in Rotationally Invariant Models

• arxiv url: http://arxiv.org/abs/2106.02356v1
• Date: Fri, 4 Jun 2021 09:13:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:12:16.985469
• Title: PCA Initialization for Approximate Message Passing in Rotationally Invariant Models
• Title（参考訳）: 回転不変モデルにおける近似メッセージパッシングの初期化
• Authors: Marco Mondelli and Ramji Venkataramanan
• Abstract要約: 主成分分析は自然推定器であり、その性能は高次元状態において急激な結果が得られた。 近年,PCAの精度を向上させる可能性のある代替推定器として,AMPアルゴリズムが提案されている。 そこで本研究では,AMPをPCAに初期化する2つの手法を組み合わせて,この推定器の性能を厳密に評価する手法を提案する。
• 参考スコア（独自算出の注目度）: 29.039655256171088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of estimating a rank-$1$ signal in the presence of rotationally invariant noise-a class of perturbations more general than Gaussian noise. Principal Component Analysis (PCA) provides a natural estimator, and sharp results on its performance have been obtained in the high-dimensional regime. Recently, an Approximate Message Passing (AMP) algorithm has been proposed as an alternative estimator with the potential to improve the accuracy of PCA. However, the existing analysis of AMP requires an initialization that is both correlated with the signal and independent of the noise, which is often unrealistic in practice. In this work, we combine the two methods, and propose to initialize AMP with PCA. Our main result is a rigorous asymptotic characterization of the performance of this estimator. Both the AMP algorithm and its analysis differ from those previously derived in the Gaussian setting: at every iteration, our AMP algorithm requires a specific term to account for PCA initialization, while in the Gaussian case, PCA initialization affects only the first iteration of AMP. The proof is based on a two-phase artificial AMP that first approximates the PCA estimator and then mimics the true AMP. Our numerical simulations show an excellent agreement between AMP results and theoretical predictions, and suggest an interesting open direction on achieving Bayes-optimal performance.
• Abstract（参考訳）: 本稿では、ガウス雑音よりも一般的な摂動のクラスである回転不変雑音の存在下でのランク1$信号の推定問題について検討する。 主成分分析(PCA)は自然推定器であり,その性能は高次元状態において急激な結果が得られた。 近年,pcaの精度を向上させる可能性を持つ代替推定器として近似メッセージパッシング(amp)アルゴリズムが提案されている。 しかし、AMPの既存の分析では、信号と相関する初期化とノイズの独立性の両方を必要とするが、実際は非現実的であることが多い。 本研究では,2つの手法を組み合わせて,AMPとPCAを初期化する手法を提案する。 我々の主な成果は、この推定器の性能の厳密な漸近的評価である。 AMPアルゴリズムは,各反復においてPCA初期化を考慮した特定の項を必要とするが,ガウスの場合,PCA初期化はAMPの最初のイテレーションにのみ影響する。 この証明は、まずPCA推定器を近似し、次に真のAMPを模倣する2相人工AMPに基づいている。 数値シミュレーションにより、AMP結果と理論予測との間に優れた一致を示し、ベイズ最適性能を達成するための興味深い開放方向を示唆する。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• A non-asymptotic distributional theory of approximate message passing for sparse and robust regression [20.830017611900832]
  本稿では、近似メッセージパッシング(AMP)のための非漸近分布特性について述べる。 AMPは、高速な推定器と強力な理論機械の両方として有効であることを示す反復アルゴリズムのファミリーである。
  論文  参考訳（メタデータ） (2024-01-08T14:34:35Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Approximate message passing from random initialization with applications to $\mathbb{Z}_{2}$ synchronization [25.511475484340156]
  本稿では,未知のランク1行列を先行構造情報で再構成する問題について考察する。 我々は,このモデルでアポキシマトメッセージパッシング(AMP)の非同化的特徴を初めて提供する。
  論文  参考訳（メタデータ） (2023-02-07T18:58:08Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A Non-Asymptotic Framework for Approximate Message Passing in Spiked Models [24.786030482013437]
  近似メッセージパッシング(AMP)は高次元統計問題を解くための効果的な反復パラダイムとして現れる。 それまでのAMP理論は、反復の数が$obig(fraclog nloglog nbig)$を超えると、AMP力学を予測できなかった。 本稿では,スパイク行列推定におけるAMP理解のための非漸近的枠組みを開発する。
  論文  参考訳（メタデータ） (2022-08-05T17:59:06Z)
• Statistical Approach to Quantum Phase Estimation [62.92678804023415]
  位相推定アルゴリズム(PEA)に新しい統計的・変動的アプローチを導入する。 固有位相推定のみを返す従来的かつ反復的なPEAとは異なり、提案手法は未知の固有状態-固有位相対を決定できる。 本稿では,IBM Qプラットフォームおよびローカルコンピュータ上で,Qiskitパッケージを用いた手法のシミュレーション結果を示す。
  論文  参考訳（メタデータ） (2021-04-21T00:02:00Z)
• Empirical Bayes PCA in high dimensions [11.806200054814772]
  主成分分析は高次元雑音の異常な現象を示すことが知られている。 主成分の結合分布に対する構造的事前を推定することにより,このノイズを低減できる経験的ベイズPCA法を提案する。
  論文  参考訳（メタデータ） (2020-12-21T20:43:44Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• Approximate Message Passing with Spectral Initialization for Generalized Linear Models [35.618694363241744]
  我々は、近似メッセージパッシング(AMP)に基づく推定器に焦点を当てる。 スペクトル推定器を用いたAMPアルゴリズムを提案する。 また,提案手法の有効性を示す数値的な結果も提供する。
  論文  参考訳（メタデータ） (2020-10-07T14:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。