論文の概要: A Random Matrix Perspective on Random Tensors

• arxiv url: http://arxiv.org/abs/2108.00774v1
• Date: Mon, 2 Aug 2021 10:42:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:28:28.769798
• Title: A Random Matrix Perspective on Random Tensors
• Title（参考訳）: ランダムテンソル上のランダム行列の視点
• Authors: Jos\'e Henrique de Morais Goulart, Romain Couillet and Pierre Comon
• Abstract要約: 与えられたランダムテンソルの収縮から生じるランダム行列のスペクトルについて検討する。 本手法は,ML問題の局所的な最大値の未知な特徴を与える。 我々のアプローチは万能であり、非対称、非ガウス的、高階的など他のモデルにも拡張できる。
• 参考スコア（独自算出の注目度）: 40.89521598604993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor models play an increasingly prominent role in many fields, notably in machine learning. In several applications of such models, such as community detection, topic modeling and Gaussian mixture learning, one must estimate a low-rank signal from a noisy tensor. Hence, understanding the fundamental limits and the attainable performance of estimators of that signal inevitably calls for the study of random tensors. Substantial progress has been achieved on this subject thanks to recent efforts, under the assumption that the tensor dimensions grow large. Yet, some of the most significant among these results--in particular, a precise characterization of the abrupt phase transition (in terms of signal-to-noise ratio) that governs the performance of the maximum likelihood (ML) estimator of a symmetric rank-one model with Gaussian noise--were derived on the basis of statistical physics ideas, which are not easily accessible to non-experts. In this work, we develop a sharply distinct approach, relying instead on standard but powerful tools brought by years of advances in random matrix theory. The key idea is to study the spectra of random matrices arising from contractions of a given random tensor. We show how this gives access to spectral properties of the random tensor itself. In the specific case of a symmetric rank-one model with Gaussian noise, our technique yields a hitherto unknown characterization of the local maximum of the ML problem that is global above the phase transition threshold. This characterization is in terms of a fixed-point equation satisfied by a formula that had only been previously obtained via statistical physics methods. Moreover, our analysis sheds light on certain properties of the landscape of the ML problem in the large-dimensional setting. Our approach is versatile and can be extended to other models, such as asymmetric, non-Gaussian and higher-order ones.
• Abstract（参考訳）: テンソルモデルは、特に機械学習において、多くの分野においてますます顕著な役割を果たす。 コミュニティ検出、トピックモデリング、ガウス混合学習などのそのようなモデルのいくつかの応用では、ノイズのあるテンソルから低ランク信号を推定する必要がある。 したがって、その信号の推定器の基本的な限界と到達可能な性能を理解することは、必然的にランダムテンソルの研究を要求する。 テンソル次元が大きくなるという仮定の下で、近年の努力により、この主題は実質的な進歩を遂げている。 しかし、これらの結果の中で最も重要なものは、特に、急激な位相転移(信号対雑音比)を正確に特徴づけることであり、非専門家に容易にアクセスできない統計物理学の考えに基づいて、ガウスノイズを持つ対称ランクワンモデルの最大極大(ML)推定器の性能を左右するものである。 本研究では、ランダム行列理論の長年の進歩によってもたらされた標準的だが強力なツールに代えて、鮮明に異なるアプローチを開発する。 鍵となるアイデアは、与えられたランダムテンソルの収縮から生じるランダム行列のスペクトルを研究することである。 これにより、ランダムテンソル自体のスペクトル特性にどのようにアクセスするかを示す。 ガウス雑音を持つ対称階数1モデルの特定の場合、この手法は位相遷移しきい値を超える大域的なML問題の局所的な最大値について、未知の特徴を与える。 このキャラクタリゼーションは、統計物理学の手法でのみ得られる公式によって満たされた固定点方程式の項である。 さらに,本稿では,ML問題におけるランドスケープの特性を多次元的に明らかにした。 我々のアプローチは汎用性があり、非対称、非ゲージ、高階モデルなど他のモデルにも拡張できる。

関連論文リスト

• Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
  構造スパイクモデルに対するベイズ推定の飽和問題を考える。 適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:38:35Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
  我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。 我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。 また、異なるアンサンブルを区別する新しい問題も分析できます。
  論文  参考訳（メタデータ） (2024-04-29T14:33:24Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
  混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。 我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
  論文  参考訳（メタデータ） (2022-11-21T11:35:25Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Signatures of Chaos in Non-integrable Models of Quantum Field Theory [0.0]
  1+1)D量子場理論(QFT)モデルにおける量子カオスのシグネチャについて検討する。 我々は、二重正弦ガードンに焦点をあて、巨大な正弦ガードンと$phi4$モデルの研究も行っている。
  論文  参考訳（メタデータ） (2020-12-15T18:56:20Z)
• Estimating Rank-One Spikes from Heavy-Tailed Noise via Self-Avoiding Walks [13.879536370173506]
  ノイズ分布の一般クラスに関する対称スパイク行列モデルについて検討する。 ガウス雑音に対しても最適なBBPしきい値まで重み付き雑音を推定する推定器を示す。 我々の推定器はカラーコーディング技術を用いて自己回避ウォークを数えることで時間的に評価できる。
  論文  参考訳（メタデータ） (2020-08-31T16:57:20Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。