論文の概要: Information-Theoretic Limits for the Matrix Tensor Product
- arxiv url: http://arxiv.org/abs/2005.11273v2
- Date: Thu, 3 Dec 2020 22:24:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 09:42:02.703934
- Title: Information-Theoretic Limits for the Matrix Tensor Product
- Title（参考訳）: マトリックステンソル製品の情報理論限界
- Authors: Galen Reeves
- Abstract要約: 本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。
本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
- 参考スコア（独自算出の注目度）: 8.206394018475708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies a high-dimensional inference problem involving the matrix
tensor product of random matrices. This problem generalizes a number of
contemporary data science problems including the spiked matrix models used in
sparse principal component analysis and covariance estimation and the
stochastic block model used in network analysis. The main results are
single-letter formulas (i.e., analytical expressions that can be approximated
numerically) for the mutual information and the minimum mean-squared error
(MMSE) in the Bayes optimal setting where the distributions of all random
quantities are known. We provide non-asymptotic bounds and show that our
formulas describe exactly the leading order terms in the mutual information and
MMSE in the high-dimensional regime where the number of rows $n$ and number of
columns $d$ scale with $d = O(n^\alpha)$ for some $\alpha < 1/20$.
On the technical side, this paper introduces some new techniques for the
analysis of high-dimensional matrix-valued signals. Specific contributions
include a novel extension of the adaptive interpolation method that uses
order-preserving positive semidefinite interpolation paths, and a variance
inequality between the overlap and the free energy that is based on
continuous-time I-MMSE relations.
- Abstract（参考訳）: 本稿ではランダム行列の行列テンソル積を含む高次元推論問題について検討する。
この問題は、スパース主成分分析で使われるスパイク行列モデルや共分散推定、ネットワーク分析で使われる確率ブロックモデルなど、現代のデータサイエンスの問題の多くを一般化する。
主な結果は、全てのランダム量の分布が知られているベイズ最適設定における相互情報と最小平均二乗誤差(MMSE)に対するシングルレター式(すなわち、数値的に近似できる解析式)である。
非漸近的境界を提供し、我々の公式が、ある$$\alpha < 1/20$に対して$d = O(n^\alpha)$で行数$n$と列数$d$スケールを持つ高次元状態において、相互情報およびMMSEの先頭項を正確に記述していることを示す。
本稿では,高次元行列値信号の解析のための新しい手法を提案する。
具体的には、順序保存正半定値補間経路を用いる適応補間法の新たな拡張や、連続時間I-MMSE関係に基づく重なり合いと自由エネルギーの分散不等式が含まれる。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。
MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。
理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
論文 参考訳（メタデータ） (2023-08-26T06:12:33Z) - Entropic covariance models [0.7614628596146602]
共分散行列の異なる変換に対する線形制限に関する一般的な枠組みを提案する。
提案手法は凸問題を解き,$M$-estimatorを出力する。
論文 参考訳（メタデータ） (2023-06-06T11:25:05Z) - Low-complexity subspace-descent over symmetric positive definite
manifold [9.346050098365648]
対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。
提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
論文 参考訳（メタデータ） (2023-05-03T11:11:46Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳（メタデータ） (2021-12-23T04:05:01Z) - Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。
それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。
本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文 参考訳（メタデータ） (2021-12-11T13:18:33Z) - Near optimal sample complexity for matrix and tensor normal models via
geodesic convexity [5.191641077435773]
いくつかの自然測度において、最大極大推定器(MLE)によって達成された誤差に対する漸近的境界を示す。
サンプルの複雑性境界と同じ条件下では、フリップフロップアルゴリズム(英語版)として知られるMLEを反復的に計算する手法が高い確率で線形に収束することを示す。
論文 参考訳（メタデータ） (2021-10-14T17:47:00Z) - Statistical limits of dictionary learning: random matrix theory and the
spectral replica method [28.54289139061295]
ベイズ最適設定における行列記述と辞書学習の複雑なモデルについて考察する。
本稿では, 統計力学とランダム行列理論, スペクトル複製法を組み合わせた新しいレプリカ法を提案する。
論文 参考訳（メタデータ） (2021-09-14T12:02:32Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z) - Asymptotic errors for convex penalized linear regression beyond Gaussian
matrices [23.15629681360836]
雑音線形観測から係数ベクトル$x_0$ in$RN$を学習する問題を考察する。
平均二乗誤差に対する明示的な式を厳密に導出する。
我々の予測は、非常に適度なサイズであっても、数値と非常によく一致していることを示す。
論文 参考訳（メタデータ） (2020-02-11T13:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。