論文の概要: Improved Convergence Guarantees for Learning Gaussian Mixture Models by
EM and Gradient EM
- arxiv url: http://arxiv.org/abs/2101.00575v1
- Date: Sun, 3 Jan 2021 08:10:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-12 11:33:44.767102
- Title: Improved Convergence Guarantees for Learning Gaussian Mixture Models by
EM and Gradient EM
- Title（参考訳）: EMと勾配EMによるガウス混合モデル学習のための収束保証の改善
- Authors: Nimrod Segol, Boaz Nadler
- Abstract要約: パラメータを既知の重みのK成分を用いたガウス混合モデルとして推定する問題を考察する。
本稿では, EM と勾配 EM の局所収束について, 従来の研究と比較し, より鮮明な解析を行った。
第2のコントリビューションは,EMと勾配EMによる精度評価のための試料サイズ要件の改善である。
- 参考スコア（独自算出の注目度）: 15.251738476719918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of estimating the parameters a Gaussian Mixture Model
with K components of known weights, all with an identity covariance matrix. We
make two contributions. First, at the population level, we present a sharper
analysis of the local convergence of EM and gradient EM, compared to previous
works. Assuming a separation of $\Omega(\sqrt{\log K})$, we prove convergence
of both methods to the global optima from an initialization region larger than
those of previous works. Specifically, the initial guess of each component can
be as far as (almost) half its distance to the nearest Gaussian. This is
essentially the largest possible contraction region. Our second contribution
are improved sample size requirements for accurate estimation by EM and
gradient EM. In previous works, the required number of samples had a quadratic
dependence on the maximal separation between the K components, and the
resulting error estimate increased linearly with this maximal separation. In
this manuscript we show that both quantities depend only logarithmically on the
maximal separation.
- Abstract（参考訳）: パラメータを既知の重みのk成分を持つガウス混合モデルとして推定する問題を考える。
我々は2つの貢献をした。
まず, 個体群レベルでは, 過去の研究に比べて, 局所的なemおよび勾配emの収束率を鋭く分析する。
$\Omega(\sqrt{\log K})$ の分離を仮定すると、どちらの方法も、以前の研究よりも大きい初期化領域から大域最適化への収束を証明できる。
具体的には、各成分の最初の推測は、最も近いガウシアンまでの距離の半分(ほぼ)である。
これは本質的に最大の収縮領域である。
第2の貢献は,EMと勾配EMによる精度評価のための試料サイズ要求の改善である。
以前の研究では, 必要なサンプル数は, K成分間の最大分離に2次依存しており, 得られた誤差は, この最大分離とともに線形に増大した。
この写本では、両方の量は最大分離のみに依存することを示した。
関連論文リスト
- Toward Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixture Models [47.294535652946095]
ガウス混合モデル(GMM)の勾配予測-最大化(EM)アルゴリズムについて検討する。
これは、2ドル以上の成分を持つガウス混合に対する最初の大域収束結果である。
論文 参考訳（メタデータ） (2024-06-29T16:44:29Z) - A Fourier Approach to the Parameter Estimation Problem for One-dimensional Gaussian Mixture Models [21.436254507839738]
一次元ガウス混合モデルにおけるパラメータ推定のための新しいアルゴリズムを提案する。
本アルゴリズムは,EMアルゴリズムと比較して,確率,AIC,BICのスコアがよいことを示す。
論文 参考訳（メタデータ） (2024-04-19T03:53:50Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Beyond EM Algorithm on Over-specified Two-Component Location-Scale
Gaussian Mixtures [29.26015093627193]
負の対数様関数の曲率を効率的に探索するために,指数位置更新法(ELU)アルゴリズムを開発した。
ELUアルゴリズムは、対数的な反復数の後、モデルの最終的な統計的半径に収束することを示した。
論文 参考訳（メタデータ） (2022-05-23T06:49:55Z) - Clustering a Mixture of Gaussians with Unknown Covariance [4.821312633849745]
最大極大推定に基づくMax-Cut整数プログラムを導出する。
最適な速度を得るが、2次サンプルサイズを必要とする効率的なスペクトルアルゴリズムを開発する。
我々は Max-Cut プログラムを$k$-means プログラムに一般化する。
論文 参考訳（メタデータ） (2021-10-04T17:59:20Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - Outlier-Robust Clustering of Non-Spherical Mixtures [5.863264019032882]
統計的に分離されたd-次元ガウスアン(k-GMM)の混合をクラスタリングするための最初のアウトリー・ローバストアルゴリズムを与える。
この結果は、$d$次元単位球面上の均一分布の任意のアフィン変換のクラスタリング混合に拡張される。
論文 参考訳（メタデータ） (2020-05-06T17:24:27Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z) - Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。
単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文 参考訳（メタデータ） (2020-02-26T16:37:37Z) - The EM Algorithm gives Sample-Optimality for Learning Mixtures of
Well-Separated Gaussians [21.780375994511324]
我々は、期待最大化(EM)に対する新しい結果を証明する: EMは、分離された$Omega(sqrtlog k)$の下で局所的に収束することを示す。
我々の結果は、(潜在的に異なる)ガウス成分の事前の知識を前提としない。
論文 参考訳（メタデータ） (2020-02-02T05:09:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。