論文の概要: Local Minima Structures in Gaussian Mixture Models

• arxiv url: http://arxiv.org/abs/2009.13040v2
• Date: Mon, 17 Apr 2023 00:47:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 02:09:15.151604
• Title: Local Minima Structures in Gaussian Mixture Models
• Title（参考訳）: ガウス混合モデルにおける局所最小構造
• Authors: Yudong Chen, Dogyoon Song, Xumei Xi and Yuqian Zhang
• Abstract要約: 一般人口を有するガウス混合モデル(GMM)の負対数様機能(負対数様機能)の展望について検討する。 コンポーネントの数が大域的に最適ではないため、グローバルに分離されていない複数の局所ミニマが存在する。 本結果は, 真の混合条件が一定の分離条件を満たす場合に適用され, 成分数が有効である場合に有効である。
• 参考スコア（独自算出の注目度）: 19.642587495800004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the landscape of the negative log-likelihood function of Gaussian Mixture Models (GMMs) with a general number of components in the population limit. As the objective function is non-convex, there can be multiple local minima that are not globally optimal, even for well-separated mixture models. Our study reveals that all local minima share a common structure that partially identifies the cluster centers (i.e., means of the Gaussian components) of the true location mixture. Specifically, each local minimum can be represented as a non-overlapping combination of two types of sub-configurations: fitting a single mean estimate to multiple Gaussian components or fitting multiple estimates to a single true component. These results apply to settings where the true mixture components satisfy a certain separation condition, and are valid even when the number of components is over- or under-specified. We also present a more fine-grained analysis for the setting of one-dimensional GMMs with three components, which provide sharper approximation error bounds with improved dependence on the separation.
• Abstract（参考訳）: ガウス混合モデル(GMM)の負の対数様機能(負の対数様機能)のランドスケープを,個体数制限の総数で検討した。 目的関数は凸でないので、十分に分離された混合モデルであっても、グローバルに最適ではない複数の局所極小が存在する。 本研究は,すべての局所的ミニマが,真の位置混合のクラスター中心(すなわちガウス成分)を部分的に識別する共通構造を共有していることを明らかにする。 具体的には、各局所最小値は2つのサブコンフィギュレーションの重複しない組み合わせとして表現できる: 単一の平均推定を複数のガウス成分に適合させるか、または単一の真の成分に複数の推定を適合させる。 これらの結果は、真の混合成分が特定の分離条件を満たす設定に適用され、コンポーネントの数が過大に指定されている場合でも有効である。 また、3つの成分からなる1次元GMMの設定についてよりきめ細かな解析を行い、分離への依存性を改善した近似誤差境界を提供する。

関連論文リスト

• Robust Mixture Learning when Outliers Overwhelm Small Groups [51.49063715477438]
  敵が任意の外れ値を加える場合、適切に分離された混合の手段を推定する問題について検討する。 本稿では,各混合平均値に対して,最小のリストサイズオーバーヘッドで順序-最適誤差を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:51:05Z)
• A Fourier Approach to the Parameter Estimation Problem for One-dimensional Gaussian Mixture Models [21.436254507839738]
  一次元ガウス混合モデルにおけるパラメータ推定のための新しいアルゴリズムを提案する。 本アルゴリズムは,EMアルゴリズムと比較して,確率,AIC,BICのスコアがよいことを示す。
  論文  参考訳（メタデータ） (2024-04-19T03:53:50Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Beyond EM Algorithm on Over-specified Two-Component Location-Scale Gaussian Mixtures [29.26015093627193]
  負の対数様関数の曲率を効率的に探索するために,指数位置更新法(ELU)アルゴリズムを開発した。 ELUアルゴリズムは、対数的な反復数の後、モデルの最終的な統計的半径に収束することを示した。
  論文  参考訳（メタデータ） (2022-05-23T06:49:55Z)
• Beyond Parallel Pancakes: Quasi-Polynomial Time Guarantees for Non-Spherical Gaussian Mixtures [9.670578317106182]
  kgeq 2$ Gaussian 成分と未知の手段と未知の共分散(すべての成分について同一視される)の混合を考える。 混合重量が指数関数的に小さい場合にのみこのような硬さが現れることを示す。 我々は,最小混合重量の時間準多項式を用いた2乗法に基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-10T10:51:44Z)
• Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation [5.98367009147573]
  2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。 その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
  論文  参考訳（メタデータ） (2021-11-13T05:19:37Z)
• Shared Independent Component Analysis for Multi-Subject Neuroimaging [107.29179765643042]
  本稿では,ShICA (Shared Independent Component Analysis) を導入し,各ビューを加法ガウス雑音によって汚染された共有独立成分の線形変換としてモデル化する。 このモデルは、成分がガウス的でないか、あるいはノイズ分散に十分な多様性がある場合、同定可能であることを示す。 我々は,fMRIおよびMEGデータセットの実証的証拠として,ShICAが代替品よりも正確な成分推定を行うことを示す。
  論文  参考訳（メタデータ） (2021-10-26T08:54:41Z)
• Go with the Flows: Mixtures of Normalizing Flows for Point Cloud Generation and Reconstruction [98.38585659305325]
  正規化フロー(NF)は、3Dポイントクラウドのモデリングにおける最先端のパフォーマンスを示している。 この研究は、点雲にNFの混合物を適用することで、それらの表現力を高める。
  論文  参考訳（メタデータ） (2021-06-06T14:25:45Z)
• Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
  本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。 理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。 我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
  論文  参考訳（メタデータ） (2020-05-13T16:44:12Z)
• Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
  ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。 この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。 得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
  論文  参考訳（メタデータ） (2020-01-15T23:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。