論文の概要: Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise
- arxiv url: http://arxiv.org/abs/2405.20993v2
- Date: Mon, 8 Jul 2024 16:26:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 01:29:45.248017
- Title: Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise
- Title（参考訳）: 構造雑音をもつスパイク行列モデルに対する情報限界とThouless-Anderson-Palmer方程式
- Authors: Jean Barbier, Francesco Camilli, Marco Mondelli, Yizhou Xu,
- Abstract要約: 構造スパイクモデルに対するベイズ推定の飽和問題を考える。
適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
- 参考スコア（独自算出の注目度）: 19.496063739638924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider a prototypical problem of Bayesian inference for a structured spiked model: a low-rank signal is corrupted by additive noise. While both information-theoretic and algorithmic limits are well understood when the noise is a Gaussian Wigner matrix, the more realistic case of structured noise still proves to be challenging. To capture the structure while maintaining mathematical tractability, a line of work has focused on rotationally invariant noise. However, existing studies either provide sub-optimal algorithms or are limited to special cases of noise ensembles. In this paper, using tools from statistical physics (replica method) and random matrix theory (generalized spherical integrals) we establish the first characterization of the information-theoretic limits for a noise matrix drawn from a general trace ensemble. Remarkably, our analysis unveils the asymptotic equivalence between the rotationally invariant model and a surrogate Gaussian one. Finally, we show how to saturate the predicted statistical limits using an efficient algorithm inspired by the theory of adaptive Thouless-Anderson-Palmer (TAP) equations.
- Abstract（参考訳）: 我々は、構造付きスパイクモデルに対するベイズ推定の原型的問題を考える: 低ランク信号は加法雑音によって破壊される。
ノイズがガウスウィグナー行列であるときに、情報理論とアルゴリズムの限界の両方がよく理解されているが、より現実的な構造的雑音の場合はまだ困難である。
数学的トラクタビリティを維持しながら構造を捉えるために、一行の作業は回転不変ノイズに焦点を当てた。
しかし、既存の研究は準最適アルゴリズムを提供するか、ノイズアンサンブルの特殊な場合に限定される。
本稿では、統計物理学(レプリカ法)とランダム行列理論(一般化球面積分)のツールを用いて、一般的なトレースアンサンブルから引き出された雑音行列に対する情報理論的限界を初めて特徴づける。
注目すべきことに、我々の分析は回転不変モデルと代理ガウスモデルの間の漸近同値を明らかにする。
最後に、適応的Thouless-Anderson-Palmer(TAP)方程式に着想を得た効率的なアルゴリズムを用いて、予測された統計的限界を飽和させる方法を示す。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Robust Learning under Hybrid Noise [24.36707245704713]
本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
論文 参考訳（メタデータ） (2024-07-04T16:13:25Z) - Bayesian Inference of General Noise Model Parameters from Surface Code's Syndrome Statistics [0.0]
表面符号のテンソルネットワークシミュレータを統合する一般雑音モデルベイズ推論法を提案する。
雑音パラメータが一定であり変化しない定常雑音に対しては,マルコフ連鎖モンテカルロに基づく手法を提案する。
より現実的な状況である時間変化ノイズに対しては、シーケンシャルなモンテカルロに基づく別の手法を導入する。
論文 参考訳（メタデータ） (2024-06-13T10:26:04Z) - Matrix Denoising with Doubly Heteroscedastic Noise: Fundamental Limits and Optimal Spectral Methods [24.06775799553418]
本研究では,列相関と列相関の両方でノイズによって劣化したランク1$の信号の特異ベクトルを推定する行列記述問題について検討する。
本研究は,2つのヘテロセダスティックノイズを重畳した行列の,情報理論的およびアルゴリズム的限界を確立する。
論文 参考訳（メタデータ） (2024-05-22T18:38:10Z) - Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。
特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
論文 参考訳（メタデータ） (2023-02-13T19:57:17Z) - Bayes-optimal limits in structured PCA, and how to reach them [21.3083877172595]
本研究では,主成分分析(PCA)のパラダイム行列モデルについて検討し,次数1の行列が付加雑音によって劣化することを示した。
このモデルにおいて、ベイズ-最適推論の極限を初めて特徴づける。
本稿では、適応的Thouless-Anderson-Palmer方程式の理論に着想を得た、新しい近似メッセージパッシングアルゴリズム(AMP)を提案する。
論文 参考訳（メタデータ） (2022-10-03T21:31:41Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳（メタデータ） (2022-03-02T13:59:20Z) - Optimizing Information-theoretical Generalization Bounds via Anisotropic
Noise in SGLD [73.55632827932101]
SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。
低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
論文 参考訳（メタデータ） (2021-10-26T15:02:27Z) - Fitting quantum noise models to tomography data [0.0]
我々は未知のノイズ過程を分析し評価するアルゴリズムを開発した。
マルコフ進化に整合した力学の場合、我々のアルゴリズムは最良のリンドブラディアンを出力する。
非マルコフ力学の場合、我々のアルゴリズムは非マルコフ性の定量的かつ操作的に有意な測度を返す。
論文 参考訳（メタデータ） (2021-03-31T17:44:50Z) - Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。
ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文 参考訳（メタデータ） (2020-06-15T18:31:02Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。