論文の概要: A Random Matrix Perspective on Random Tensors
- arxiv url: http://arxiv.org/abs/2108.00774v1
- Date: Mon, 2 Aug 2021 10:42:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-03 15:28:28.769798
- Title: A Random Matrix Perspective on Random Tensors
- Title(参考訳): ランダムテンソル上のランダム行列の視点
- Authors: Jos\'e Henrique de Morais Goulart, Romain Couillet and Pierre Comon
- Abstract要約: 与えられたランダムテンソルの収縮から生じるランダム行列のスペクトルについて検討する。
本手法は,ML問題の局所的な最大値の未知な特徴を与える。
我々のアプローチは万能であり、非対称、非ガウス的、高階的など他のモデルにも拡張できる。
- 参考スコア(独自算出の注目度): 40.89521598604993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor models play an increasingly prominent role in many fields, notably in
machine learning. In several applications of such models, such as community
detection, topic modeling and Gaussian mixture learning, one must estimate a
low-rank signal from a noisy tensor. Hence, understanding the fundamental
limits and the attainable performance of estimators of that signal inevitably
calls for the study of random tensors. Substantial progress has been achieved
on this subject thanks to recent efforts, under the assumption that the tensor
dimensions grow large. Yet, some of the most significant among these
results--in particular, a precise characterization of the abrupt phase
transition (in terms of signal-to-noise ratio) that governs the performance of
the maximum likelihood (ML) estimator of a symmetric rank-one model with
Gaussian noise--were derived on the basis of statistical physics ideas, which
are not easily accessible to non-experts.
In this work, we develop a sharply distinct approach, relying instead on
standard but powerful tools brought by years of advances in random matrix
theory. The key idea is to study the spectra of random matrices arising from
contractions of a given random tensor. We show how this gives access to
spectral properties of the random tensor itself. In the specific case of a
symmetric rank-one model with Gaussian noise, our technique yields a hitherto
unknown characterization of the local maximum of the ML problem that is global
above the phase transition threshold. This characterization is in terms of a
fixed-point equation satisfied by a formula that had only been previously
obtained via statistical physics methods. Moreover, our analysis sheds light on
certain properties of the landscape of the ML problem in the large-dimensional
setting. Our approach is versatile and can be extended to other models, such as
asymmetric, non-Gaussian and higher-order ones.
- Abstract(参考訳): テンソルモデルは、特に機械学習において、多くの分野においてますます顕著な役割を果たす。
コミュニティ検出、トピックモデリング、ガウス混合学習などのそのようなモデルのいくつかの応用では、ノイズのあるテンソルから低ランク信号を推定する必要がある。
したがって、その信号の推定器の基本的な限界と到達可能な性能を理解することは、必然的にランダムテンソルの研究を要求する。
テンソル次元が大きくなるという仮定の下で、近年の努力により、この主題は実質的な進歩を遂げている。
しかし、これらの結果の中で最も重要なものは、特に、急激な位相転移(信号対雑音比)を正確に特徴づけることであり、非専門家に容易にアクセスできない統計物理学の考えに基づいて、ガウスノイズを持つ対称ランクワンモデルの最大極大(ML)推定器の性能を左右するものである。
本研究では、ランダム行列理論の長年の進歩によってもたらされた標準的だが強力なツールに代えて、鮮明に異なるアプローチを開発する。
鍵となるアイデアは、与えられたランダムテンソルの収縮から生じるランダム行列のスペクトルを研究することである。
これにより、ランダムテンソル自体のスペクトル特性にどのようにアクセスするかを示す。
ガウス雑音を持つ対称階数1モデルの特定の場合、この手法は位相遷移しきい値を超える大域的なML問題の局所的な最大値について、未知の特徴を与える。
このキャラクタリゼーションは、統計物理学の手法でのみ得られる公式によって満たされた固定点方程式の項である。
さらに,本稿では,ML問題におけるランドスケープの特性を多次元的に明らかにした。
我々のアプローチは汎用性があり、非対称、非ゲージ、高階モデルなど他のモデルにも拡張できる。
関連論文リスト
- Convex Parameter Estimation of Perturbed Multivariate Generalized
Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。
提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。
実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文 参考訳(メタデータ) (2023-12-12T18:08:04Z) - Spectral Estimators for Structured Generalized Linear Models via
Approximate Message Passing [31.58736590532443]
一般化線形モデルによる観測からパラメータ推定の問題を考える。
スペクトル法は単純だが効果的な推定法である。
我々は、所望のスペクトル推定器と一致する固定点を持つ近似メッセージパッシングに基づく新しい戦略を開発する。
論文 参考訳(メタデータ) (2023-08-28T11:49:23Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Precise Asymptotics for Spectral Methods in Mixed Generalized Linear
Models [30.627367021180085]
混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。
我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
論文 参考訳(メタデータ) (2022-11-21T11:35:25Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳(メタデータ) (2021-12-23T04:05:01Z) - Signatures of Chaos in Non-integrable Models of Quantum Field Theory [0.0]
1+1)D量子場理論(QFT)モデルにおける量子カオスのシグネチャについて検討する。
我々は、二重正弦ガードンに焦点をあて、巨大な正弦ガードンと$phi4$モデルの研究も行っている。
論文 参考訳(メタデータ) (2020-12-15T18:56:20Z) - Estimating Rank-One Spikes from Heavy-Tailed Noise via Self-Avoiding
Walks [13.879536370173506]
ノイズ分布の一般クラスに関する対称スパイク行列モデルについて検討する。
ガウス雑音に対しても最適なBBPしきい値まで重み付き雑音を推定する推定器を示す。
我々の推定器はカラーコーディング技術を用いて自己回避ウォークを数えることで時間的に評価できる。
論文 参考訳(メタデータ) (2020-08-31T16:57:20Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳(メタデータ) (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。