論文の概要: Fundamental Limits of Matrix Sensing: Exact Asymptotics, Universality, and Applications
- arxiv url: http://arxiv.org/abs/2503.14121v1
- Date: Tue, 18 Mar 2025 10:36:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:16:52.689330
- Title: Fundamental Limits of Matrix Sensing: Exact Asymptotics, Universality, and Applications
- Title（参考訳）: マトリックスセンシングの基礎的限界:排他的漸近,普遍性,応用
- Authors: Yizhou Xu, Antoine Maillard, Lenka Zdeborová, Florent Krzakala,
- Abstract要約: 複数のサンプルからベイズ最適学習性能を特徴付ける厳密な方程式を提案する。
我々は統計物理学から非厳密な手法を用いて得られた予測を数学的に確立する。
- 参考スコア（独自算出の注目度）: 30.659400341011004
- License:
- Abstract: In the matrix sensing problem, one wishes to reconstruct a matrix from (possibly noisy) observations of its linear projections along given directions. We consider this model in the high-dimensional limit: while previous works on this model primarily focused on the recovery of low-rank matrices, we consider in this work more general classes of structured signal matrices with potentially large rank, e.g. a product of two matrices of sizes proportional to the dimension. We provide rigorous asymptotic equations characterizing the Bayes-optimal learning performance from a number of samples which is proportional to the number of entries in the matrix. Our proof is composed of three key ingredients: $(i)$ we prove universality properties to handle structured sensing matrices, related to the ''Gaussian equivalence'' phenomenon in statistical learning, $(ii)$ we provide a sharp characterization of Bayes-optimal learning in generalized linear models with Gaussian data and structured matrix priors, generalizing previously studied settings, and $(iii)$ we leverage previous works on the problem of matrix denoising. The generality of our results allow for a variety of applications: notably, we mathematically establish predictions obtained via non-rigorous methods from statistical physics in [ETB+24] regarding Bilinear Sequence Regression, a benchmark model for learning from sequences of tokens, and in [MTM+24] on Bayes-optimal learning in neural networks with quadratic activation function, and width proportional to the dimension.
- Abstract（参考訳）: 行列センシング問題では、与えられた方向に沿った線形射影の(おそらくノイズの多い)観測から行列を再構成したい。
このモデルに関する以前の研究は、主に低階行列の回復に焦点を当てていたが、この研究では、潜在的に大きな階数を持つ構造化信号行列のより一般的なクラス、例えば次元に比例する2つの大きさの行列の積を考える。
行列のエントリ数に比例した多数のサンプルからベイズ最適学習性能を特徴付ける厳密な漸近方程式を提案する。
私たちの証明は3つの重要な材料から成り立っている。
(i)統計的学習における'ガウス同値'現象に関連する構造的センシング行列を扱う普遍性特性を証明した場合、$$
(ii)ガウス的データと構造化行列事前を持つ一般化線形モデルにおけるベイズ最適学習の鋭い特徴付けを提供し、以前に研究された設定を一般化し、$とする。
(iii)マトリクスのデノナイジングに関する過去の研究を活用すればよい。
特に,2次アクティベーション関数を持つニューラルネットワークにおけるベイズ最適学習のベンチマークモデルであるBilinear Sequence Regressionの[ETB+24]と,その次元に比例した幅について,統計物理学の非厳密な手法を用いて得られた予測を数学的に確立する。
関連論文リスト
- Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models [76.52307406752556]
ランダムリゾルダーの2点関数に対する新しい決定論的等価性を導出する。
勾配勾配を有する多種多様な高次元学習線形モデルの性能を統一的に導出する。
論文 参考訳（メタデータ） (2025-02-07T16:45:40Z) - The Decimation Scheme for Symmetric Matrix Factorization [0.0]
行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。
我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。
本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:53:45Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Graph Polynomial Convolution Models for Node Classification of
Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。
得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。
提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文 参考訳（メタデータ） (2022-09-12T04:46:55Z) - Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。
6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-21T01:47:17Z) - Robust Regularized Low-Rank Matrix Models for Regression and
Classification [14.698622796774634]
本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。
アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
論文 参考訳（メタデータ） (2022-05-14T18:03:48Z) - Learning a Compressive Sensing Matrix with Structural Constraints via
Maximum Mean Discrepancy Optimization [17.104994036477308]
本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。
ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
論文 参考訳（メタデータ） (2021-10-14T08:35:54Z) - Nonparametric Trace Regression in High Dimensions via Sign Series
Representation [13.37650464374017]
高次元関数の構造的符号系列表現による非パラメトリックトレース回帰モデルのためのフレームワークを開発する。
行列完備化の文脈において、我々のフレームワークは、行列の「符号ランク」と呼ばれるものに基づいて、かなりリッチなモデルへと導かれる。
論文 参考訳（メタデータ） (2021-05-04T22:20:00Z) - Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。
FNMFはその重要性に応じて特徴の重みを適応的に学習する。
提案する最適化アルゴリズムを用いて効率的に解くことができる。
論文 参考訳（メタデータ） (2021-03-24T21:17:17Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Asymptotic Errors for Teacher-Student Convex Generalized Linear Models
(or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
凸一般化線形モデルの再構成性能に関する解析式を検証した。
解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。
主流学習法に関する数値的な例で,本主張を述べる。
論文 参考訳（メタデータ） (2020-06-11T16:26:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。