論文の概要: The price of ignorance: how much does it cost to forget noise structure
in low-rank matrix estimation?
- arxiv url: http://arxiv.org/abs/2205.10009v1
- Date: Fri, 20 May 2022 07:54:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 16:00:12.633435
- Title: The price of ignorance: how much does it cost to forget noise structure
in low-rank matrix estimation?
- Title（参考訳）: 無知の代償:低ランク行列推定における雑音構造を忘れるのにいくらかかるか?
- Authors: Jean Barbier, TianQi Hou, Marco Mondelli and Manuel S\'aenz
- Abstract要約: 本稿では,構造的回転不変雑音によるランク1信号の誤差を推定する問題を考察する。
我々は,ノイズ統計量である強いミスマッチ源の効果を理解するための一歩を踏み出した。
この性能差は信号ノルムの誤推定によるものであることを示す。
- 参考スコア（独自算出の注目度）: 21.3083877172595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of estimating a rank-1 signal corrupted by structured
rotationally invariant noise, and address the following question: how well do
inference algorithms perform when the noise statistics is unknown and hence
Gaussian noise is assumed? While the matched Bayes-optimal setting with
unstructured noise is well understood, the analysis of this mismatched problem
is only at its premises. In this paper, we make a step towards understanding
the effect of the strong source of mismatch which is the noise statistics. Our
main technical contribution is the rigorous analysis of a Bayes estimator and
of an approximate message passing (AMP) algorithm, both of which incorrectly
assume a Gaussian setup. The first result exploits the theory of spherical
integrals and of low-rank matrix perturbations; the idea behind the second one
is to design and analyze an artificial AMP which, by taking advantage of the
flexibility in the denoisers, is able to "correct" the mismatch. Armed with
these sharp asymptotic characterizations, we unveil a rich and often unexpected
phenomenology. For example, despite AMP is in principle designed to efficiently
compute the Bayes estimator, the former is outperformed by the latter in terms
of mean-square error. We show that this performance gap is due to an incorrect
estimation of the signal norm. In fact, when the SNR is large enough, the
overlaps of the AMP and the Bayes estimator coincide, and they even match those
of optimal estimators taking into account the structure of the noise.
- Abstract（参考訳）: 我々は、構造的回転不変雑音により劣化したランク1信号を推定する問題を考察し、次の問題に対処する: 推測アルゴリズムは、ノイズ統計が未知でガウス雑音が想定される場合に、どの程度の精度で機能するか?
非構造雑音を伴うベイズ最適設定はよく理解されているが、このミスマッチ問題の解析は、その前提でのみ行われる。
本稿では,ノイズの統計量であるミスマッチの強い源の影響を理解するための一歩を踏み出す。
我々の主な技術的貢献はベイズ推定器と近似メッセージパッシング(AMP)アルゴリズムの厳密な解析である。
最初の結果は球面積分と低ランク行列摂動の理論を利用しており、第2の考え方は人工的なAMPを設計・解析することであり、これはデノイザーの柔軟性を利用してミスマッチを「修正」することができる。
これらの鋭い漸近的な特徴付けによって、我々は豊かでしばしば予期しない現象論を披露する。
例えば、AMPはベイズ推定器を効率的に計算するように設計されているが、前者は平均二乗誤差の点で後者よりも優れている。
この性能差は信号規範の不正確な推定によるものであることを示す。
実際、SNR が十分に大きい場合、AMP とベイズ推定器の重なりが一致し、ノイズの構造を考慮した最適な推定器の重なりが一致する。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
構造スパイクモデルに対するベイズ推定の飽和問題を考える。
適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
論文 参考訳（メタデータ） (2024-05-31T16:38:35Z) - Mismatched estimation of non-symmetric rank-one matrices corrupted by
structured noise [21.447998004700384]
本研究では,非対称な回転不変雑音によって劣化したランク1信号と特異値の一般分布を推定するベイズ統計学者の性能について検討する。
我々は、ミスマッチしたベイズ推定器の誤差に対する正確な解析式を導出し、また、近似メッセージパッシング(AMP)アルゴリズムの解析も提供する。
論文 参考訳（メタデータ） (2023-02-07T07:56:19Z) - Optimizing the Noise in Self-Supervised Learning: from Importance
Sampling to Noise-Contrastive Estimation [80.07065346699005]
GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。
我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。
本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
論文 参考訳（メタデータ） (2023-01-23T19:57:58Z) - Robust Matrix Completion with Heavy-tailed Noise [0.5837881923712392]
本稿では,重み付き潜在的非対称雑音の存在下での低ランク行列の完全性について検討する。
本稿では,大規模かつ非対称な誤りに対して頑健な重み付き雑音に適応するハマー損失を適応的に適用する。
誤差の2番目のモーメント条件下では、ユークリッド誤差は最小値の統計的推定誤差に到達するまで幾何的に早く落ちることが証明される。
論文 参考訳（メタデータ） (2022-06-09T04:48:48Z) - High-Order Qubit Dephasing at Sweet Spots by Non-Gaussian Fluctuators:
Symmetry Breaking and Floquet Protection [55.41644538483948]
非ガウスゆらぎによるqubit dephasingについて検討した。
非ガウス雑音に特有の対称性破壊効果を予測する。
論文 参考訳（メタデータ） (2022-06-06T18:02:38Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳（メタデータ） (2022-03-02T13:59:20Z) - Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。
ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文 参考訳（メタデータ） (2020-06-15T18:31:02Z) - Contextual Linear Bandits under Noisy Features: Towards Bayesian Oracles [65.9694455739978]
特徴不確実性の下での文脈線形帯域問題について検討する。
本分析により, 最適仮説は, 雑音特性に応じて, 基礎となる実現可能性関数から著しく逸脱しうることが明らかとなった。
これは、古典的アプローチが非自明な後悔境界を保証できないことを意味する。
論文 参考訳（メタデータ） (2017-03-03T21:39:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。