論文の概要: Learning Overspecified Gaussian Mixtures Exponentially Fast with the EM Algorithm
- arxiv url: http://arxiv.org/abs/2506.11850v1
- Date: Fri, 13 Jun 2025 14:57:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-16 17:50:49.838904
- Title: Learning Overspecified Gaussian Mixtures Exponentially Fast with the EM Algorithm
- Title（参考訳）: EMアルゴリズムによる過剰特異なガウス混合の学習
- Authors: Zhenisbek Assylbekov, Alan Legg, Artur Pak,
- Abstract要約: 過特定ガウス混合モデルに適用した場合のEMアルゴリズムの収束特性について検討する。
集団EMアルゴリズムはクルバック・リーブラー距離(KL)において指数関数的に高速に収束することを示した。
- 参考スコア（独自算出の注目度）: 5.625796693054093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the convergence properties of the EM algorithm when applied to overspecified Gaussian mixture models -- that is, when the number of components in the fitted model exceeds that of the true underlying distribution. Focusing on a structured configuration where the component means are positioned at the vertices of a regular simplex and the mixture weights satisfy a non-degeneracy condition, we demonstrate that the population EM algorithm converges exponentially fast in terms of the Kullback-Leibler (KL) distance. Our analysis leverages the strong convexity of the negative log-likelihood function in a neighborhood around the optimum and utilizes the Polyak-{\L}ojasiewicz inequality to establish that an $\epsilon$-accurate approximation is achievable in $O(\log(1/\epsilon))$ iterations. Furthermore, we extend these results to a finite-sample setting by deriving explicit statistical convergence guarantees. Numerical experiments on synthetic datasets corroborate our theoretical findings, highlighting the dramatic acceleration in convergence compared to conventional sublinear rates. This work not only deepens the understanding of EM's behavior in overspecified settings but also offers practical insights into initialization strategies and model design for high-dimensional clustering and density estimation tasks.
- Abstract（参考訳）: 過特定ガウス混合モデルに適用した場合のEMアルゴリズムの収束特性について検討する。
定規の頂点に成分手段が配置され、混合重みが非退化条件を満たす構造的構成に着目し、集団EMアルゴリズムがクルバック・リーブラー距離(KL)において指数関数的に高速に収束することを示した。
解析では,最適近傍における負の対数類似関数の強い凸性を活用し,Polyak-{\L}ojasiewiczの不等式を用いて,$O(\log(1/\epsilon)$繰り返しにおいて,$\epsilon$-精度の近似が達成可能であることを示す。
さらに、これらの結果は、明示的な統計的収束保証を導出することにより、有限サンプル設定に拡張する。
合成データセットの数値実験は, 従来のサブ線形速度と比較して, 収束の劇的な加速を顕著に示し, 理論的知見を裏付けるものである。
この研究は、過度に特定された環境でのEMの振る舞いの理解を深めるだけでなく、初期化戦略と高次元クラスタリングおよび密度推定タスクのためのモデル設計に関する実践的な洞察を提供する。
関連論文リスト
- A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration [19.83835152405735]
我々は運動量加速分散勾配(Exact-Diffusion with Momentum (EDM))を提案する。
EDMはデータの異質性からバイアスを緩和し、ディープラーニングでよく使われる運動量技術を取り込む。
理論的解析により,EDMアルゴリズムは局所的に近傍最適解に収束することを示した。
論文 参考訳（メタデータ） (2025-01-31T12:15:58Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Sharp analysis of EM for learning mixtures of pairwise differences [14.01151780845689]
線形回帰とランダムサンプルの対称混合をペア比較設計から検討する。
我々は、列が線形収束することを証明し、反復数の推定誤差に対して$ell_infty$-normの保証を与える。
EMシーケンスの極限は$ell$-normにおける推定の急激な速度を達成し、情報理論の最適定数と一致することを示す。
論文 参考訳（メタデータ） (2023-02-20T16:13:19Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
テンソルの合同ベンチマークとクラスタリングの問題を考察する。
本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-15T21:06:16Z) - A fast and efficient Modal EM algorithm for Gaussian mixtures [0.0]
クラスタリングへのモーダルアプローチでは、クラスタは基礎となる確率密度関数の局所的な最大値として定義される。
モーダルEMアルゴリズムは、任意の密度関数の局所的な最大値を特定するイテレーティブな手順である。
論文 参考訳（メタデータ） (2020-02-10T08:34:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。