論文の概要: A Fourier Approach to the Parameter Estimation Problem for One-dimensional Gaussian Mixture Models
- arxiv url: http://arxiv.org/abs/2404.12613v2
- Date: Mon, 9 Sep 2024 01:53:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 02:52:35.481605
- Title: A Fourier Approach to the Parameter Estimation Problem for One-dimensional Gaussian Mixture Models
- Title（参考訳）: 1次元ガウス混合モデルのパラメータ推定問題に対するフーリエアプローチ
- Authors: Xinyu Liu, Hai Zhang,
- Abstract要約: 一次元ガウス混合モデルにおけるパラメータ推定のための新しいアルゴリズムを提案する。
本アルゴリズムは,EMアルゴリズムと比較して,確率,AIC,BICのスコアがよいことを示す。
- 参考スコア（独自算出の注目度）: 21.436254507839738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The purpose of this paper is twofold. First, we propose a novel algorithm for estimating parameters in one-dimensional Gaussian mixture models (GMMs). The algorithm takes advantage of the Hankel structure inherent in the Fourier data obtained from independent and identically distributed (i.i.d) samples of the mixture. For GMMs with a unified variance, a singular value ratio functional using the Fourier data is introduced and used to resolve the variance and component number simultaneously. The consistency of the estimator is derived. Compared to classic algorithms such as the method of moments and the maximum likelihood method, the proposed algorithm does not require prior knowledge of the number of Gaussian components or good initial guesses. Numerical experiments demonstrate its superior performance in estimation accuracy and computational cost. Second, we reveal that there exists a fundamental limit to the problem of estimating the number of Gaussian components or model order in the mixture model if the number of i.i.d samples is finite. For the case of a single variance, we show that the model order can be successfully estimated only if the minimum separation distance between the component means exceeds a certain threshold value and can fail if below. We derive a lower bound for this threshold value, referred to as the computational resolution limit, in terms of the number of i.i.d samples, the variance, and the number of Gaussian components. Numerical experiments confirm this phase transition phenomenon in estimating the model order. Moreover, we demonstrate that our algorithm achieves better scores in likelihood, AIC, and BIC when compared to the EM algorithm.
- Abstract（参考訳）: 本論文の目的は2つある。
まず,一次元ガウス混合モデル(GMM)のパラメータを推定するための新しいアルゴリズムを提案する。
このアルゴリズムは、混合物の独立および同一分布(すなわちd)サンプルから得られたフーリエデータに固有のハンケル構造を利用する。
統一分散を持つGMMに対して、フーリエデータを用いて機能する特異値比を導入し、分散と成分番号を同時に解決する。
推定器の一貫性が導出される。
モーメント法や最大極大法などの古典的アルゴリズムと比較して、提案アルゴリズムはガウス成分の数や優れた初期推定の事前知識を必要としない。
数値実験は、推定精度と計算コストにおいて優れた性能を示す。
第二に、i.d サンプルの数が有限であれば、混合モデルにおいてガウス成分の個数やモデル順序を推定する問題に根本的な制限があることを明らかにする。
単一分散の場合、各成分間の最小分離距離が一定の閾値を超え、下記の値でフェールした場合のみ、モデル順序を推定可能であることを示す。
我々は、i.dサンプルの数、分散、ガウス成分の数という観点から、このしきい値に対する下界を計算分解限界と呼ぶ。
数値実験により、モデル秩序の推定において、この相転移現象が確認される。
さらに,本アルゴリズムはEMアルゴリズムと比較して,確率,AIC,BICのスコアがよいことを示す。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Learning general Gaussian mixtures with efficient score matching [16.06356123715737]
我々は、$d$次元で$k$ガウシアンの混合を学習する問題を研究する。
我々は、下層の混合成分について分離を前提としない。
我々は、ターゲット混合物から$dmathrmpoly(k/varepsilon)$サンプルを抽出し、サンプル-ポリノミカル時間で実行し、サンプリング器を構築するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-29T17:30:36Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Learning Gaussian Mixtures Using the Wasserstein-Fisher-Rao Gradient
Flow [12.455057637445174]
ガウス混合モデルを用いて非パラメトリック最大推定器(NPMLE)を計算するための新しいアルゴリズムを提案する。
この手法は、ワッサーシュタイン-フィッシャー-ラオ幾何学を備えた確率測度空間上の勾配降下に基づく。
提案アルゴリズムの有効性を確認するため,広範囲な数値実験を行った。
論文 参考訳（メタデータ） (2023-01-04T18:59:35Z) - Importance sampling for stochastic quantum simulations [68.8204255655161]
我々は、係数に応じてハミルトン式からサンプリングしてランダムな積公式を構築するqDriftプロトコルを導入する。
サンプリング段階における個別のシミュレーションコストを考慮し、同じ精度でシミュレーションコストを削減可能であることを示す。
格子核効果場理論を用いて数値シミュレーションを行った結果, 実験結果が得られた。
論文 参考訳（メタデータ） (2022-12-12T15:06:32Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Beyond EM Algorithm on Over-specified Two-Component Location-Scale
Gaussian Mixtures [29.26015093627193]
負の対数様関数の曲率を効率的に探索するために,指数位置更新法(ELU)アルゴリズムを開発した。
ELUアルゴリズムは、対数的な反復数の後、モデルの最終的な統計的半径に収束することを示した。
論文 参考訳（メタデータ） (2022-05-23T06:49:55Z) - Improved Convergence Guarantees for Learning Gaussian Mixture Models by
EM and Gradient EM [15.251738476719918]
パラメータを既知の重みのK成分を用いたガウス混合モデルとして推定する問題を考察する。
本稿では, EM と勾配 EM の局所収束について, 従来の研究と比較し, より鮮明な解析を行った。
第2のコントリビューションは,EMと勾配EMによる精度評価のための試料サイズ要件の改善である。
論文 参考訳（メタデータ） (2021-01-03T08:10:01Z) - An Adaptive EM Accelerator for Unsupervised Learning of Gaussian Mixture
Models [0.7340845393655052]
教師なし学習のための適応予測最大化(EM)アルゴリズムのためのAnderson Accelerationスキームを提案する。
提案アルゴリズムは、最適混合成分数を自律的に決定することができ、非加速バージョンよりもはるかに高速に最適解に収束する。
論文 参考訳（メタデータ） (2020-09-26T22:55:44Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。