論文の概要: An Adaptive EM Accelerator for Unsupervised Learning of Gaussian Mixture
Models
- arxiv url: http://arxiv.org/abs/2009.12703v1
- Date: Sat, 26 Sep 2020 22:55:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 08:26:24.350209
- Title: An Adaptive EM Accelerator for Unsupervised Learning of Gaussian Mixture
Models
- Title（参考訳）: ガウス混合モデルの教師なし学習のための適応EM加速器
- Authors: Truong Nguyen, Guangye Chen, and Luis Chacon
- Abstract要約: 教師なし学習のための適応予測最大化(EM)アルゴリズムのためのAnderson Accelerationスキームを提案する。
提案アルゴリズムは、最適混合成分数を自律的に決定することができ、非加速バージョンよりもはるかに高速に最適解に収束する。
- 参考スコア（独自算出の注目度）: 0.7340845393655052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an Anderson Acceleration (AA) scheme for the adaptive
Expectation-Maximization (EM) algorithm for unsupervised learning a finite
mixture model from multivariate data (Figueiredo and Jain 2002). The proposed
algorithm is able to determine the optimal number of mixture components
autonomously, and converges to the optimal solution much faster than its
non-accelerated version. The success of the AA-based algorithm stems from
several developments rather than a single breakthrough (and without these, our
tests demonstrate that AA fails catastrophically). To begin, we ensure the
monotonicity of the likelihood function (a the key feature of the standard EM
algorithm) with a recently proposed monotonicity-control algorithm (Henderson
and Varahdan 2019), enhanced by a novel monotonicity test with little overhead.
We propose nimble strategies for AA to preserve the positive definiteness of
the Gaussian weights and covariance matrices strictly, and to conserve up to
the second moments of the observed data set exactly. Finally, we employ a
K-means clustering algorithm using the gap statistic to avoid excessively
overestimating the initial number of components, thereby maximizing
performance. We demonstrate the accuracy and efficiency of the algorithm with
several synthetic data sets that are mixtures of Gaussians distributions of
known number of components, as well as data sets generated from
particle-in-cell simulations. Our numerical results demonstrate speed-ups with
respect to non-accelerated EM of up to 60X when the exact number of mixture
components is known, and between a few and more than an order of magnitude with
component adaptivity.
- Abstract（参考訳）: 多変量データから有限混合モデルを教師なし学習するための適応期待最大化(EM)アルゴリズムのためのAnderson Acceleration(AA)スキームを提案する(Figueiredo and Jain 2002)。
提案アルゴリズムは、最適混合成分数を自律的に決定することができ、非加速バージョンよりもはるかに高速に最適解に収束する。
AAベースのアルゴリズムの成功は、単一のブレークスルーではなく、いくつかの発展に起因しています。
まず、最近提案されている単調性制御アルゴリズム(henderson and varahdan 2019)により、新しい単調性テストにより、オーバヘッドをほとんど持たないように拡張されたラバース関数(標準emアルゴリズムの重要な特徴)の単調性を保証する。
本研究では, ガウス重みと共分散行列の正定性を厳密に保ち, 観測されたデータセットの第2モーメントを正確に保存するために, AA のニブル戦略を提案する。
最後に、ギャップ統計を用いたk-meansクラスタリングアルゴリズムを用いて、初期コンポーネント数を過大に見積もることを避け、パフォーマンスを最大化する。
本研究では,既知成分数のガウス分布と粒子-セルシミュレーションから生成されたデータセットを混合した合成データセットを用いて,アルゴリズムの精度と効率を示す。
数値計算の結果, 混合成分の正確な数を知る場合, 最大60倍の非加速EMに対して, 部品適応性を有する数桁から数桁の速度向上を示す。
関連論文リスト
- A Fourier Approach to the Parameter Estimation Problem for One-dimensional Gaussian Mixture Models [21.436254507839738]
一次元ガウス混合モデルにおけるパラメータ推定のための新しいアルゴリズムを提案する。
本アルゴリズムは,EMアルゴリズムと比較して,確率,AIC,BICのスコアがよいことを示す。
論文 参考訳（メタデータ） (2024-04-19T03:53:50Z) - Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。
スパース・アンミキシングの代替手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-01-23T10:07:41Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Detection of Anomalies in Multivariate Time Series Using Ensemble
Techniques [3.2422067155309806]
最終的な決定に向けて,複数の基本モデルを組み合わせたアンサンブル手法を提案する。
また,ロジスティック回帰器を用いて基本モデルの出力を結合する半教師付き手法を提案する。
異常検出精度の点での性能改善は、教師なしモデルでは2%、半教師なしモデルでは少なくとも10%に達する。
論文 参考訳（メタデータ） (2023-08-06T17:51:22Z) - Algorithme EM r\'egularis\'e [0.0]
本稿では,より少ないサンプルサイズに対応するために,事前知識を効率的に活用するEMアルゴリズムの正規化バージョンを提案する。
実データを用いた実験では,クラスタリングのための提案アルゴリズムの性能が向上した。
論文 参考訳（メタデータ） (2023-07-04T23:19:25Z) - A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。
このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
論文 参考訳（メタデータ） (2023-02-06T23:34:51Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - A Non-Parametric Bootstrap for Spectral Clustering [0.7673339435080445]
我々は,データ行列のスペクトル分解と非パラメトリックブートストラップサンプリング方式を組み合わせた2つの新しいアルゴリズムを開発した。
我々の手法は、有限混合モデルに適合する他のブートストラップアルゴリズムと比較して収束性においてより一貫性がある。
論文 参考訳（メタデータ） (2022-09-13T08:37:05Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-11-18T16:40:45Z) - Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。
提案アルゴリズムの有効性と有効性を示す実験を行った。
論文 参考訳（メタデータ） (2020-11-04T16:49:29Z) - Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。
我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。
得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
論文 参考訳（メタデータ） (2020-02-21T17:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。