論文の概要: Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise

• arxiv url: http://arxiv.org/abs/2405.20993v1
• Date: Fri, 31 May 2024 16:38:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 13:39:10.547382
• Title: Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise
• Title（参考訳）: 構造雑音をもつスパイク行列モデルに対する情報限界とThouless-Anderson-Palmer方程式
• Authors: Jean Barbier, Francesco Camilli, Marco Mondelli, Yizhou Xu,
• Abstract要約: 定型スパイクモデルに対するベイズ推定の問題を考える: 低ランク信号は付加雑音によって劣化する。 本稿では,一般的なトレースアンサンブルから引き出された原型雑音行列に対する情報理論の限界を初めて特徴づける。 これらの極限は、適応的Thouless-Anderson-Palmer(TAP)方程式の理論にインスパイアされた効率的なアルゴリズムによって達成される。
• 参考スコア（独自算出の注目度）: 19.496063739638924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a prototypical problem of Bayesian inference for a structured spiked model: a low-rank signal is corrupted by additive noise. While both information-theoretic and algorithmic limits are well understood when the noise is i.i.d. Gaussian, the more realistic case of structured noise still proves to be challenging. To capture the structure while maintaining mathematical tractability, a line of work has focused on rotationally invariant noise. However, existing studies either provide sub-optimal algorithms or they are limited to a special class of noise ensembles. In this paper, we establish the first characterization of the information-theoretic limits for a noise matrix drawn from a general trace ensemble. These limits are then achieved by an efficient algorithm inspired by the theory of adaptive Thouless-Anderson-Palmer (TAP) equations. Our approach leverages tools from statistical physics (replica method) and random matrix theory (generalized spherical integrals), and it unveils the equivalence between the rotationally invariant model and a surrogate Gaussian model.
• Abstract（参考訳）: 我々は、構造付きスパイクモデルに対するベイズ推定の原型的問題を考える: 低ランク信号は加法雑音によって破壊される。 情報理論とアルゴリズムの限界は、ノイズがガウス的であるときによく理解されているが、より現実的な構造的雑音の場合はまだ困難である。 数学的トラクタビリティを維持しながら構造を捉えるために、一行の作業は回転不変ノイズに焦点を当てた。 しかし、既存の研究は準最適アルゴリズムを提供するか、特定の種類のノイズアンサンブルに制限される。 本稿では,一般的なトレースアンサンブルから引き出された雑音行列に対する情報理論の限界を初めて特徴づける。 これらの極限は、適応的Thouless-Anderson-Palmer(TAP)方程式の理論にインスパイアされた効率的なアルゴリズムによって達成される。 我々の手法は統計物理学(レプリカ法)とランダム行列理論(一般化球面積分)のツールを活用し、回転不変モデルと代理ガウスモデルとの同値性を明らかにする。

関連論文リスト

• Robust Learning under Hybrid Noise [24.36707245704713]
  本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
  論文  参考訳（メタデータ） (2024-07-04T16:13:25Z)
• Bayesian Inference of General Noise Model Parameters from Surface Code's Syndrome Statistics [0.0]
  表面符号のテンソルネットワークシミュレータを統合する一般雑音モデルベイズ推論法を提案する。 雑音パラメータが一定であり変化しない定常雑音に対しては,マルコフ連鎖モンテカルロに基づく手法を提案する。 より現実的な状況である時間変化ノイズに対しては、シーケンシャルなモンテカルロに基づく別の手法を導入する。
  論文  参考訳（メタデータ） (2024-06-13T10:26:04Z)
• Matrix Denoising with Doubly Heteroscedastic Noise: Fundamental Limits and Optimal Spectral Methods [24.06775799553418]
  本研究では,列相関と列相関の両方でノイズによって劣化したランク1$の信号の特異ベクトルを推定する行列記述問題について検討する。 本研究は,2つのヘテロセダスティックノイズを重畳した行列の,情報理論的およびアルゴリズム的限界を確立する。
  論文  参考訳（メタデータ） (2024-05-22T18:38:10Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Bayes-optimal limits in structured PCA, and how to reach them [21.3083877172595]
  本研究では,主成分分析(PCA)のパラダイム行列モデルについて検討し,次数1の行列が付加雑音によって劣化することを示した。 このモデルにおいて、ベイズ-最適推論の極限を初めて特徴づける。 本稿では、適応的Thouless-Anderson-Palmer方程式の理論に着想を得た、新しい近似メッセージパッシングアルゴリズム(AMP)を提案する。
  論文  参考訳（メタデータ） (2022-10-03T21:31:41Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Fitting quantum noise models to tomography data [0.0]
  我々は未知のノイズ過程を分析し評価するアルゴリズムを開発した。 マルコフ進化に整合した力学の場合、我々のアルゴリズムは最良のリンドブラディアンを出力する。 非マルコフ力学の場合、我々のアルゴリズムは非マルコフ性の定量的かつ操作的に有意な測度を返す。
  論文  参考訳（メタデータ） (2021-03-31T17:44:50Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。