論文の概要: Tensor Moments of Gaussian Mixture Models: Theory and Applications
- arxiv url: http://arxiv.org/abs/2202.06930v1
- Date: Mon, 14 Feb 2022 18:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 15:34:24.212414
- Title: Tensor Moments of Gaussian Mixture Models: Theory and Applications
- Title（参考訳）: ガウス混合モデルのテンソルモーメント:理論と応用
- Authors: Jo\~ao M. Pereira and Joe Kileel and Tamara G. Kolda
- Abstract要約: 我々はGMMのモーメントテンソルを用いた暗黙計算の理論と数値計算法を開発した。
未知の手段が対称テンソル分解に還元される場合、データ観測の偏りを抑えることが可能であることを示す。
- 参考スコア（独自算出の注目度）: 1.6114012813668934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian mixture models (GMM) are fundamental tools in statistical and data
sciences. We study the moments of multivariate Gaussians and GMMs. The $d$-th
moment of an $n$-dimensional random variable is a symmetric $d$-way tensor of
size $n^d$, so working with moments naively is assumed to be prohibitively
expensive for $d>2$ and larger values of $n$. In this work, we develop theory
and numerical methods for implicit computations with moment tensors of GMMs,
reducing the computational and storage costs to $\mathcal{O}(n^2)$ and
$\mathcal{O}(n^3)$, respectively, for general covariance matrices, and to
$\mathcal{O}(n)$ and $\mathcal{O}(n)$, respectively, for diagonal ones. We
derive concise analytic expressions for the moments in terms of symmetrized
tensor products, relying on the correspondence between symmetric tensors and
homogeneous polynomials, and combinatorial identities involving Bell
polynomials. The primary application of this theory is to estimating GMM
parameters from a set of observations, when formulated as a moment-matching
optimization problem. If there is a known and common covariance matrix, we also
show it is possible to debias the data observations, in which case the problem
of estimating the unknown means reduces to symmetric CP tensor decomposition.
Numerical results validate and illustrate the numerical efficiency of our
approaches. This work potentially opens the door to the competitiveness of the
method of moments as compared to expectation maximization methods for parameter
estimation of GMMs.
- Abstract（参考訳）: ガウス混合モデル(GMM)は統計学とデータ科学の基本的なツールである。
多変量ガウスとGMMのモーメントを研究する。
$n$-次元確率変数の$d$-次元モーメントは、対称な$d$-ウェイテンソルで、$n^d$である。
本研究では,gmms のモーメントテンソルを持つ暗黙計算の理論と数値解法を開発し,一般共分散行列に対してそれぞれ $\mathcal{o}(n^2)$ と $\mathcal{o}(n^3)$ を,対角行列に対して $\mathcal{o}(n)$ と $\mathcal{o}(n)$ をそれぞれ削減した。
対称テンソルと等質多項式の対応とベル多項式を含む組合せ恒等性に依拠して、対称テンソル積の観点でモーメントの簡潔な解析式を導出する。
この理論の第一の応用は、モーメントマッチング最適化問題として定式化されたとき、一連の観測からGMMパラメータを推定することである。
既知の共分散行列が存在する場合、データ観測をデバイアスすることが可能であり、未知の手段を推定する問題は対称cpテンソル分解に還元される。
数値結果は,我々のアプローチの数値効率を検証し,示す。
この研究は、GMMのパラメータ推定における期待最大化手法と比較して、モーメントの手法の競争性への扉を開く可能性がある。
関連論文リスト
- Sparse Gaussian Graphical Models with Discrete Optimization:
Computational and Statistical Perspectives [8.403841349300103]
本研究では,無向ガウス図形モデルに基づくスパースグラフの学習問題を考察する。
擬似微分関数の $ell_0$-penalized バージョンに基づく新しい推定器 GraphL0BnB を提案する。
実/合成データセットに関する数値実験により,本手法がほぼ最適に,p = 104$の問題を解けることが示唆された。
論文 参考訳（メタデータ） (2023-07-18T15:49:02Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Average-Case Complexity of Tensor Decomposition for Low-Degree
Polynomials [93.59919600451487]
多くの統計的推論タスクにおいて「統計計算ギャップ」が発生する。
1つの成分が他の成分よりもわずかに大きいランダムオーダー3分解モデルを考える。
テンソルエントリは$ll n3/2$のとき最大成分を正確に推定できるが、$rgg n3/2$のとき失敗する。
論文 参考訳（メタデータ） (2022-11-10T00:40:37Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳（メタデータ） (2021-12-23T04:05:01Z) - Multimeasurement Generative Models [7.502947376736449]
我々は、密度$p_X$ in $mathbbRd$を未知分布からサンプリングする問題を学習とサンプリングの問題を$p_mathbfY$ in $mathbbRMd$とする。
論文 参考訳（メタデータ） (2021-12-18T02:11:36Z) - Convergence of Sparse Variational Inference in Gaussian Processes
Regression [29.636483122130027]
計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
論文 参考訳（メタデータ） (2020-08-01T19:23:34Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Variational Orthogonal Features [29.636483122130027]
我々は,ある先行して,エビデンスローバウンド(ELBO)のミニバッチ推定を$mathcalO(M3)$コストで計算する機能を定義できることを示す。
我々は,不偏推定器をELBOに,$mathcalO(tildeNT+M2T)$および$mathcalO(tildeNT+MT)$で$T$ Monte Carloサンプルを用いて計算できる固定前カーネルの構成について述べる。
論文 参考訳（メタデータ） (2020-06-23T17:18:07Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - Asymptotic errors for convex penalized linear regression beyond Gaussian
matrices [23.15629681360836]
雑音線形観測から係数ベクトル$x_0$ in$RN$を学習する問題を考察する。
平均二乗誤差に対する明示的な式を厳密に導出する。
我々の予測は、非常に適度なサイズであっても、数値と非常によく一致していることを示す。
論文 参考訳（メタデータ） (2020-02-11T13:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。