論文の概要: Bayes-optimal limits in structured PCA, and how to reach them

• arxiv url: http://arxiv.org/abs/2210.01237v1
• Date: Mon, 3 Oct 2022 21:31:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 14:07:18.499802
• Title: Bayes-optimal limits in structured PCA, and how to reach them
• Title（参考訳）: 構造化pcaにおけるベイズ最適限界とその到達方法
• Authors: Jean Barbier, Francesco Camilli, Marco Mondelli and Manuel Saenz
• Abstract要約: 本稿では,主成分分析のパラダイム的スパイク行列モデルについて検討する。 我々の研究は、構造的雑音を伴うこのモデルにおける推論のためのベイズ最適極限の最初の特徴を与える。
• 参考スコア（独自算出の注目度）: 21.3083877172595
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study the paradigmatic spiked matrix model of principal components analysis, where the rank-one signal is corrupted by additive noise. While the noise is typically taken from a Wigner matrix with independent entries, here the potential acting on the eigenvalues has a quadratic plus a quartic component. The quartic term induces strong correlations between the matrix elements, which makes the setting relevant for applications but analytically challenging. Our work provides the first characterization of the Bayes-optimal limits for inference in this model with structured noise. If the signal prior is rotational-invariant, then we show that a spectral estimator is optimal. In contrast, for more general priors, the existing approximate message passing algorithm (AMP) falls short of achieving the information-theoretic limits, and we provide a justification for this sub-optimality. Finally, by generalizing the theory of Thouless-Anderson-Palmer equations, we cure the issue by proposing a novel AMP which matches the theoretical limits. Our information-theoretic analysis is based on the replica method, a powerful heuristic from statistical mechanics; instead, the novel AMP comes with a rigorous state evolution analysis tracking its performance in the high-dimensional limit. Even if we focus on a specific noise distribution, our methodology can be generalized to a wide class of trace ensembles, at the cost of more involved expressions.
• Abstract（参考訳）: 本研究では,主成分分析のパラダイム的スパイク行列モデルについて検討した。 ノイズは通常、独立成分を持つウィグナー行列から取られるが、ここでは固有値に作用するポテンシャルは二次成分とクォート成分を持つ。 クォート項は行列要素間の強い相関を誘導するので、この設定は応用に関係するが解析的に困難である。 我々の研究は、構造的雑音を伴うモデルにおける推論のためのベイズ最適極限の最初の特徴を与える。 先行する信号が回転不変であれば、スペクトル推定器が最適であることを示す。 対照的に、より一般的な事前処理では、既存の近似メッセージパッシングアルゴリズム(amp)は、情報理論的な限界を達成するには至らず、このサブ最適化の正当化を提供する。 最後に、Thouless-Anderson-Palmer方程式の理論を一般化することにより、理論上の極限に一致する新しいAMPを提案して問題を解く。 我々の情報理論解析は、統計力学の強力なヒューリスティックであるレプリカ法に基づいており、代わりに、AMPは高次元限界におけるその性能を追跡する厳密な状態進化解析を伴っている。 特定の雑音分布に注目しても、我々の手法はより複雑な表現を犠牲にして、幅広い種類のトレースアンサンブルに一般化することができる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
  構造スパイクモデルに対するベイズ推定の飽和問題を考える。 適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:38:35Z)
• Support Recovery in Sparse PCA with Non-Random Missing Data [27.3669650952144]
  非ランダムサンプリング方式の下で,不完全かつノイズの多いデータに基づいてスパースPCAの実用的なアルゴリズムを解析する。 理論的には、ある条件下では、スパースリード固有ベクトルの支持を高い確率で回復することができる。 提案アルゴリズムは, 観察された成分が良好な構造特性を持つ場合, その他のスパースPCA手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-03T04:20:25Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Robust Matrix Completion with Heavy-tailed Noise [0.5837881923712392]
  本稿では,重み付き潜在的非対称雑音の存在下での低ランク行列の完全性について検討する。 本稿では,大規模かつ非対称な誤りに対して頑健な重み付き雑音に適応するハマー損失を適応的に適用する。 誤差の2番目のモーメント条件下では、ユークリッド誤差は最小値の統計的推定誤差に到達するまで幾何的に早く落ちることが証明される。
  論文  参考訳（メタデータ） (2022-06-09T04:48:48Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Adaptive Multi-View ICA: Estimation of noise levels for optimal inference [65.94843987207445]
  Adaptive MultiView ICA (AVICA) はノイズの多いICAモデルであり、各ビューは共有された独立したソースと付加的なノイズの線形混合である。 AVICAは、その明示的なMMSE推定器により、他のICA法よりも優れたソース推定値が得られる。 実脳磁図(MEG)データでは,分解がサンプリングノイズに対する感度が低く,ノイズ分散推定が生物学的に妥当であることを示す。
  論文  参考訳（メタデータ） (2021-02-22T13:10:12Z)
• Beyond variance reduction: Understanding the true impact of baselines on policy optimization [24.09670734037029]
  学習力学は損失関数の曲率と勾配推定の雑音によって制御されることを示す。 我々は,少なくとも包帯問題では,曲率や雑音が学習力学を説明するのに十分でないことを示す理論的結果を示す。
  論文  参考訳（メタデータ） (2020-08-31T17:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。