論文の概要: Toward Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixture Models

• arxiv url: http://arxiv.org/abs/2407.00490v1
• Date: Sat, 29 Jun 2024 16:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:56:15.233695
• Title: Toward Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixture Models
• Title（参考訳）: 過パラメータ化ガウス混合モデルに対するグラディエントEMの大域収束に向けて
• Authors: Weihang Xu, Maryam Fazel, Simon S. Du,
• Abstract要約: ガウス混合モデル(GMM)の勾配予測-最大化(EM)アルゴリズムについて検討する。 これは、2ドル以上の成分を持つガウス混合に対する最初の大域収束結果である。
• 参考スコア（独自算出の注目度）: 47.294535652946095
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study the gradient Expectation-Maximization (EM) algorithm for Gaussian Mixture Models (GMM) in the over-parameterized setting, where a general GMM with $n>1$ components learns from data that are generated by a single ground truth Gaussian distribution. While results for the special case of 2-Gaussian mixtures are well-known, a general global convergence analysis for arbitrary $n$ remains unresolved and faces several new technical barriers since the convergence becomes sub-linear and non-monotonic. To address these challenges, we construct a novel likelihood-based convergence analysis framework and rigorously prove that gradient EM converges globally with a sublinear rate $O(1/\sqrt{t})$. This is the first global convergence result for Gaussian mixtures with more than $2$ components. The sublinear convergence rate is due to the algorithmic nature of learning over-parameterized GMM with gradient EM. We also identify a new emerging technical challenge for learning general over-parameterized GMM: the existence of bad local regions that can trap gradient EM for an exponential number of steps.
• Abstract（参考訳）: 本稿では,Gaussian Mixture Models (GMM) の勾配予測-最大化(EM) アルゴリズムについて検討し,Gaussian 分布によって生成されるデータから$n>1$成分の一般 GMM を学習する。 2-ガウス混合の特別な場合の結果はよく知られているが、任意の$n$に対する一般的な大域収束解析は未解決のままであり、収束が部分線型および非単調となるため、いくつかの新しい技術的障壁に直面している。 これらの課題に対処するために、新しい確率ベース収束解析フレームワークを構築し、勾配EMが大域的に$O(1/\sqrt{t})$で収束することを厳密に証明する。 これは、2ドル以上の成分を持つガウス混合に対する最初の大域収束結果である。 線形収束速度は勾配EMによる過パラメータ化GMM学習のアルゴリズム的性質に起因する。 また、指数関数的なステップ数で勾配EMをトラップできる悪い局所領域の存在という、一般的な過パラメータ化GMMを学習するための新たな技術的課題も挙げる。

関連論文リスト

• Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression [5.883916678819683]
  2成分混合線形回帰(2MLR)における反復の軌跡と期待最大化(EM)アルゴリズムの収束率について検討する。 近年, ノイズレスおよび高SNR環境下での2MLRにおけるEMの超線形収束が確立されている。
  論文  参考訳（メタデータ） (2024-05-28T14:46:20Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• The Parametric Stability of Well-separated Spherical Gaussian Mixtures [7.238973585403367]
  分布空間の小さな摂動下で球状ガウス混合モデル(sGMM)のパラメータ安定性を定量化する。 既定義モデルクラスにおける球面ガウス$P$(sGMM)の混合に対して、全変動距離におけるこのモデルクラスの他のすべてのsGMMは、Pに小さいパラメータ距離を持つことを示す最初の明示的境界を導出する。
  論文  参考訳（メタデータ） (2023-02-01T04:52:13Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• GAT-GMM: Generative Adversarial Training for Gaussian Mixture Models [29.42264360774606]
  GAN(Generative Adversarial Network)は、ゼロサムゲームを通して観測されたサンプルの分布を学習する。 本稿では,GAT-GMM(Gene Adversarial Gaussian Models)を提案する。 GAT-GMMは2つのガウスの混合学習において期待-最大化アルゴリズムと同様に機能することを示す。
  論文  参考訳（メタデータ） (2020-06-18T06:11:28Z)
• Dual Stochastic Natural Gradient Descent and convergence of interior half-space gradient approximations [0.0]
  多項ロジスティック回帰(MLR)は統計学や機械学習で広く使われている。 勾配降下(SGD)は、ビッグデータシナリオにおけるMLRモデルのパラメータを決定する最も一般的な手法である。
  論文  参考訳（メタデータ） (2020-01-19T00:53:49Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。