論文の概要: On the phase diagram of extensive-rank symmetric matrix denoising beyond rotational invariance

• arxiv url: http://arxiv.org/abs/2411.01974v1
• Date: Mon, 04 Nov 2024 10:50:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:45:59.704376
• Title: On the phase diagram of extensive-rank symmetric matrix denoising beyond rotational invariance
• Title（参考訳）: 回転不変性を超えた広ランク対称行列の位相図について
• Authors: Jean Barbier, Francesco Camilli, Justin Ko, Koki Okajima,
• Abstract要約: 隠れ信号が係数行列 $XXintercal$ で回転不変でないとき、行列の分解の理解に向けて前進する。 我々は、因子化(すなわち、$X$自身を推定する)が符号と置換普遍性(英語版)(Sign and permutation universality)に到達できるのは、遷移を超えてのみであると主張する。 我々はまた、因子化(すなわち、$X$自身を推定する)が符号と置換普遍性(英語版)(Sign and permutation universality)に到達できるのは、遷移を超えてのみであると主張する。
• 参考スコア（独自算出の注目度）: 5.058205542605482
• License:
• Abstract: Matrix denoising is central to signal processing and machine learning. Its analysis when the matrix to infer has a factorised structure with a rank growing proportionally to its dimension remains a challenge, except when it is rotationally invariant. In this case the information theoretic limits and a Bayes-optimal denoising algorithm, called rotational invariant estimator [1,2], are known. Beyond this setting few results can be found. The reason is that the model is not a usual spin system because of the growing rank dimension, nor a matrix model due to the lack of rotation symmetry, but rather a hybrid between the two. In this paper we make progress towards the understanding of Bayesian matrix denoising when the hidden signal is a factored matrix $XX^\intercal$ that is not rotationally invariant. Monte Carlo simulations suggest the existence of a denoising-factorisation transition separating a phase where denoising using the rotational invariant estimator remains Bayes-optimal due to universality properties of the same nature as in random matrix theory, from one where universality breaks down and better denoising is possible by exploiting the signal's prior and factorised structure, though algorithmically hard. We also argue that it is only beyond the transition that factorisation, i.e., estimating $X$ itself, becomes possible up to sign and permutation ambiguities. On the theoretical side, we combine mean-field techniques in an interpretable multiscale fashion in order to access the minimum mean-square error and mutual information. Interestingly, our alternative method yields equations which can be reproduced using the replica approach of [3]. Using numerical insights, we then delimit the portion of the phase diagram where this mean-field theory is reliable, and correct it using universality when it is not. Our ansatz matches well the numerics when accounting for finite size effects.
• Abstract（参考訳）: マトリックスのデノイングは、信号処理と機械学習の中心である。 推論する行列が、その次元に比例的に成長する階数を持つ分解構造を持つときの分析は、回転不変である場合を除いて、依然として困難である。 この場合、情報理論の限界と、回転不変量推定器[1,2]と呼ばれるベイズ最適分解アルゴリズムが知られている。 この設定を超えると、結果はほとんど見つからない。 理由は、モデルがランク次元の増大による通常のスピン系ではなく、回転対称性の欠如による行列モデルであり、むしろ両者のハイブリッドであるからである。 本稿では,隠れ信号が因子行列 $XX^\intercal$ で回転不変でないとき,ベイズ行列の分解の理解に向けて前進する。 モンテカルロのシミュレーションは、回転不変量推定器を用いた復調が確率行列理論と同じ性質の普遍性のためにベイズ最適のままである位相を分離する復調分解遷移の存在を示唆している。 我々はまた、因子化(すなわち、$X$自身を推定する)が符号と置換のあいまいさに結びつくのは、遷移を超えてのみであると主張する。 理論的には、最小二乗誤差と相互情報にアクセスするために、平均場手法を解釈可能なマルチスケールで組み合わせる。 興味深いことに,本手法は[3]の複製手法を用いて再現可能な方程式を導出する。 数値的な洞察を用いて、この平均場理論が信頼できる位相図の部分を切り離し、そうでないときに普遍性を用いて修正する。 我々のアンザッツは有限サイズ効果を考慮に入れた数値とよく一致している。

関連論文リスト

• Learning Large Causal Structures from Inverse Covariance Matrix via Sparse Matrix Decomposition [2.403264213118039]
  本稿では,逆共分散行列から因果構造を学習することに焦点を当てる。 提案手法は,行列分解モデルの連続的最適化に基づくICIDと呼ばれる。 本研究では,ノイズ分散の知識を前提として,提案した指向性非巡回グラフ(DAG)を効率よく同定することを示す。
  論文  参考訳（メタデータ） (2022-11-25T16:32:56Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View Tomography [58.60249163402822]
  未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。 提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
  論文  参考訳（メタデータ） (2022-07-06T21:40:59Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• Statistical limits of dictionary learning: random matrix theory and the spectral replica method [28.54289139061295]
  ベイズ最適設定における行列記述と辞書学習の複雑なモデルについて考察する。 本稿では, 統計力学とランダム行列理論, スペクトル複製法を組み合わせた新しいレプリカ法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T12:02:32Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Noisy Gradient Descent Converges to Flat Minima for Nonconvex Matrix Factorization [36.182992409810446]
  本稿では,非最適化問題における雑音の重要性について考察する。 勾配勾配勾配は、入射雑音によって決定される大域バイアスに収束する任意の大域的な形式に収束できることを示す。
  論文  参考訳（メタデータ） (2021-02-24T17:50:17Z)
• Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing [36.96922859748537]
  低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。 既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。 本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
  論文  参考訳（メタデータ） (2021-01-13T15:03:52Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently [18.89597524771988]
  非負行列分解(NMF)は、機械学習における多くの応用において、基本的な非修飾最適化問題である。 本稿では,サドル点を同時にかつ確実に回避する乗法的重み更新型力学(Seung algorithm)を定義する。 重要な利点は、並列コンピューティング環境で並列実装を使用することである。
  論文  参考訳（メタデータ） (2020-02-26T06:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。