論文の概要: Diagonally-Weighted Generalized Method of Moments Estimation for Gaussian Mixture Modeling
- arxiv url: http://arxiv.org/abs/2507.20459v1
- Date: Mon, 28 Jul 2025 01:24:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:57.764903
- Title: Diagonally-Weighted Generalized Method of Moments Estimation for Gaussian Mixture Modeling
- Title（参考訳）: ガウス混合モデリングのための対角重み付き一般化されたモーメント推定法
- Authors: Liu Zhang, Oscar Mickelin, Sheng Xu, Amit Singer,
- Abstract要約: 対角重み付きGMM(DGMM)は、統計効率、計算複雑性、数値安定性のバランスを達成する。
弱分離型ヘテロセダスティック低ランクガウス混合系のパラメータ推定問題にDGMMを適用した。
数値計算では、DGMMはMMやGMMよりもかなり短いランタイムを必要とするが、推定誤差は小さくなる。
- 参考スコア（独自算出の注目度）: 7.266474956854856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since Pearson [Philosophical Transactions of the Royal Society of London. A, 185 (1894), pp. 71-110] first applied the method of moments (MM) for modeling data as a mixture of one-dimensional Gaussians, moment-based estimation methods have proliferated. Among these methods, the generalized method of moments (GMM) improves the statistical efficiency of MM by weighting the moments appropriately. However, the computational complexity and storage complexity of MM and GMM grow exponentially with the dimension, making these methods impractical for high-dimensional data or when higher-order moments are required. Such computational bottlenecks are more severe in GMM since it additionally requires estimating a large weighting matrix. To overcome these bottlenecks, we propose the diagonally-weighted GMM (DGMM), which achieves a balance among statistical efficiency, computational complexity, and numerical stability. We apply DGMM to study the parameter estimation problem for weakly separated heteroscedastic low-rank Gaussian mixtures and design a computationally efficient and numerically stable algorithm that obtains the DGMM estimator without explicitly computing or storing the moment tensors. We implement the proposed algorithm and empirically validate the advantages of DGMM: in numerical studies, DGMM attains smaller estimation errors while requiring substantially shorter runtime than MM and GMM. The code and data will be available upon publication at https://github.com/liu-lzhang/dgmm.
- Abstract（参考訳）: Pearson [Philosophical Transactions of the Royal Society of London. A, 185 (1894), pp. 71-110] が1次元ガウスの混合としてデータモデリングのためのモーメント法 (MM) を最初に適用して以来、モーメントに基づく推定法が発展してきた。
これらの方法のうち、一般化モーメント法(GMM)はモーメントを適切に重み付けすることで、MMの統計的効率を向上させる。
しかし、MMとGMMの計算複雑性と記憶容量は次元とともに指数関数的に増加し、高次元データや高次モーメントが必要な場合、これらの手法は実用的ではない。
このような計算ボトルネックは、GMMでは大きな重み付け行列を推定する必要があるため、より深刻である。
これらのボトルネックを克服するために,統計効率,計算複雑性,数値安定性のバランスをとる対角重み付きGMM(DGMM)を提案する。
我々はDGMMを用いて、弱い分離されたヘテロセダスティック低ランクガウス混合に対するパラメータ推定問題を解析し、モーメントテンソルを明示的に計算したり保存したりすることなくDGMM推定器を得る計算効率が高く、数値的に安定なアルゴリズムを設計する。
本稿では,提案アルゴリズムを実装し,DGMMの利点を実証的に検証する。
コードとデータはhttps://github.com/liu-lzhang/dgmm.comで公開される。
関連論文リスト
- Sparse high-dimensional linear mixed modeling with a partitioned empirical Bayes ECM algorithm [41.25603565852633]
この研究は、高次元LMMに対する効率的かつ正確なベイズ的枠組みを示す。
このアプローチの斬新さは、パーティショニングとパラメータ拡張と、高速でスケーラブルな計算にある。
実世界の例では、小児のループスの研究データを用いて、新しいループスバイオマーカーに関連する遺伝子と臨床因子を特定し、時間とともにバイオマーカーを予測する。
論文 参考訳（メタデータ） (2023-10-18T19:34:56Z) - Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。
MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。
理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
論文 参考訳（メタデータ） (2023-08-26T06:12:33Z) - SGMM: Stochastic Approximation to Generalized Method of Moments [8.48870560391056]
本稿では,モーメントの一般化法 (Generalized Method of Moments, SGMM) というアルゴリズムを導入し, モーメント制約モデルの推定と推定を行う。
我々のSGMMは、人気のあるHansen (1982) (オフライン) GMMの新たな近似であり、ストリーミングデータセットをリアルタイムに処理できる高速でスケーラブルな実装を提供する。
論文 参考訳（メタデータ） (2023-08-25T00:22:45Z) - Algorithme EM r\'egularis\'e [0.0]
本稿では,より少ないサンプルサイズに対応するために,事前知識を効率的に活用するEMアルゴリズムの正規化バージョンを提案する。
実データを用いた実験では,クラスタリングのための提案アルゴリズムの性能が向上した。
論文 参考訳（メタデータ） (2023-07-04T23:19:25Z) - Regularized EM algorithm [9.367612782346205]
本稿では,従来の知識を効率的に活用し,LSSの状況に対処できる,GMM-sの正規化EMアルゴリズムを提案する。
コンバージェンスホールドの理論的保証は、構造化共分散行列モデルや低サンプル設定のEMアルゴリズムの性能向上につながることを示す。
論文 参考訳（メタデータ） (2023-03-27T08:32:20Z) - Gaussian process regression and conditional Karhunen-Lo\'{e}ve models
for data assimilation in inverse problems [68.8204255655161]
偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。
CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
論文 参考訳（メタデータ） (2023-01-26T18:14:12Z) - Stochastic First-Order Learning for Large-Scale Flexibly Tied Gaussian
Mixture Model [3.4546761246181696]
ガウス混合モデル(GMM)の多様体上での新しい最適化アルゴリズムを提案する。
我々は,予測最大化アルゴリズムを,より高い確率で達成し,収束のエポックを少なくし,各エポックあたりの時間を少なくすることができることを観察した。
論文 参考訳（メタデータ） (2022-12-11T04:24:52Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T04:28:19Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Effective Learning of a GMRF Mixture Model [8.336315962271396]
我々はGMMをガウスマルコフ確率場混合モデル(GMRF-MM)に限定することを提案する。
各行列の空間パターンが知られているとき、その行列の最大近似(MLE)の効率的な最適化法を提案する。
GMRFとGMRF-MMの両症例でGLASSOの「偏り」はGLASSOよりも優れていた。
論文 参考訳（メタデータ） (2020-05-18T19:00:14Z) - Q-GADMM: Quantized Group ADMM for Communication Efficient Decentralized Machine Learning [66.18202188565922]
我々はQGADMM(QGADMM)という通信効率の高い分散機械学習(ML)アルゴリズムを提案する。
我々は,凸関数に対するQGADMMの収束性を証明しつつ,モデル化レベルとその確率を適応的に調整する新しい量子化法を開発した。
論文 参考訳（メタデータ） (2019-10-23T10:47:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。