論文の概要: Matrix Denoising with Doubly Heteroscedastic Noise: Fundamental Limits and Optimal Spectral Methods

• arxiv url: http://arxiv.org/abs/2405.13912v2
• Date: Mon, 28 Oct 2024 15:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:15:05.631038
• Title: Matrix Denoising with Doubly Heteroscedastic Noise: Fundamental Limits and Optimal Spectral Methods
• Title（参考訳）: 二重ヘテロセダス性雑音を呈するマトリックス-基本限界と最適スペクトル法-
• Authors: Yihan Zhang, Marco Mondelli,
• Abstract要約: 本研究では,列相関と列相関の両方でノイズによって劣化したランク1$の信号の特異ベクトルを推定する行列記述問題について検討する。 本研究は,2つのヘテロセダスティックノイズを重畳した行列の,情報理論的およびアルゴリズム的限界を確立する。
• 参考スコア（独自算出の注目度）: 24.06775799553418
• License:
• Abstract: We study the matrix denoising problem of estimating the singular vectors of a rank-$1$ signal corrupted by noise with both column and row correlations. Existing works are either unable to pinpoint the exact asymptotic estimation error or, when they do so, the resulting approaches (e.g., based on whitening or singular value shrinkage) remain vastly suboptimal. On top of this, most of the literature has focused on the special case of estimating the left singular vector of the signal when the noise only possesses row correlation (one-sided heteroscedasticity). In contrast, our work establishes the information-theoretic and algorithmic limits of matrix denoising with doubly heteroscedastic noise. We characterize the exact asymptotic minimum mean square error, and design a novel spectral estimator with rigorous optimality guarantees: under a technical condition, it attains positive correlation with the signals whenever information-theoretically possible and, for one-sided heteroscedasticity, it also achieves the Bayes-optimal error. Numerical experiments demonstrate the significant advantage of our theoretically principled method with the state of the art. The proofs draw connections with statistical physics and approximate message passing, departing drastically from standard random matrix theory techniques.
• Abstract（参考訳）: 本研究では,列相関と列相関の両方でノイズによって劣化したランク1$の信号の特異ベクトルを推定する行列記述問題について検討する。 既存の研究は、正確な漸近的推定誤差を特定できないか、あるいはそれらがそれを行う場合、結果として得られるアプローチ(例えば、白化や特異値の縮小に基づく)は、非常に最適である。 これに加えて、ほとんどの文献は、ノイズが行相関しか持たない場合(片側異方性)に信号の左特異ベクトルを推定する特別なケースに焦点を当てている。 対照的に、我々の研究は、二重ヘテロスセダティックノイズを伴う行列の情報理論的およびアルゴリズム的限界を確立する。 我々は、正確な漸近的平均二乗誤差を特徴付けるとともに、厳密な最適性を保証する新しいスペクトル推定器を設計する。 数値実験により, 理論的に原理化された手法の最先端性を実証した。 この証明は統計物理学や近似メッセージパッシングと結びつき、標準的なランダム行列理論から大きく離れている。

関連論文リスト

• Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
  構造スパイクモデルに対するベイズ推定の飽和問題を考える。 適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:38:35Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Fundamental limits of Non-Linear Low-Rank Matrix Estimation [18.455890316339595]
  ベイズ最適性能は、有効前のガウスモデルによって特徴づけられる。 信号を正確に再構成するためには、Nfrac 12 (1-1/k_F)$として増加する信号対雑音比が必要であり、$k_F$は関数の最初のゼロでないフィッシャー情報係数である。
  論文  参考訳（メタデータ） (2024-03-07T05:26:52Z)
• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
  混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。 我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
  論文  参考訳（メタデータ） (2022-11-21T11:35:25Z)
• Robust Matrix Completion with Heavy-tailed Noise [0.5837881923712392]
  本稿では,重み付き潜在的非対称雑音の存在下での低ランク行列の完全性について検討する。 本稿では,大規模かつ非対称な誤りに対して頑健な重み付き雑音に適応するハマー損失を適応的に適用する。 誤差の2番目のモーメント条件下では、ユークリッド誤差は最小値の統計的推定誤差に到達するまで幾何的に早く落ちることが証明される。
  論文  参考訳（メタデータ） (2022-06-09T04:48:48Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Doubly-Stochastic Normalization of the Gaussian Kernel is Robust to Heteroskedastic Noise [3.5429774642987915]
  ガウス核の主対角がゼロの二重確率正規化はヘテロスケダティックノイズに対して頑健であることを示す。 本報告では,本態性ヘテロスケダスティック性を有する単一細胞RNA配列のシミュレートおよび実験例を示す。
  論文  参考訳（メタデータ） (2020-05-31T01:31:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。