論文の概要: Stochastic First-Order Learning for Large-Scale Flexibly Tied Gaussian Mixture Model

• arxiv url: http://arxiv.org/abs/2212.05402v2
• Date: Sun, 18 Jun 2023 11:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 04:38:28.911130
• Title: Stochastic First-Order Learning for Large-Scale Flexibly Tied Gaussian Mixture Model
• Title（参考訳）: 大規模フレキシブルタイトガウス混合モデルの確率的1次学習
• Authors: Mohammad Pasande, Reshad Hosseini, Babak Nadjar Araabi
• Abstract要約: 本稿では,一次最適化を用いたGMMの高速オンラインパラメータ推定アルゴリズムを提案する。 提案手法は,確率関数に対してより収束した最大値,収束に必要なエポック数が少なく,エポックあたりの時間消費も少ないことを示す。
• 参考スコア（独自算出の注目度）: 4.39139858370436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian Mixture Models (GMM) are one of the most potent parametric density estimators based on the kernel model that finds application in many scientific domains. In recent years, with the dramatic enlargement of data sources, typical machine learning algorithms, e.g. Expectation Maximization (EM), encounters difficulty with high-dimensional and streaming data. Moreover, complicated densities often demand a large number of Gaussian components. This paper proposes a fast online parameter estimation algorithm for GMM by using first-order stochastic optimization. This approach provides a framework to cope with the challenges of GMM when faced with high-dimensional streaming data and complex densities by leveraging the flexibly-tied factorization of the covariance matrix. A new stochastic Manifold optimization algorithm that preserves the orthogonality is introduced and used along with the well-known Euclidean space numerical optimization. Numerous empirical results on both synthetic and real datasets justify the effectiveness of our proposed stochastic method over EM-based methods in the sense of better-converged maximum for likelihood function, fewer number of needed epochs for convergence, and less time consumption per epoch.
• Abstract（参考訳）: ガウス混合モデル(英: Gaussian Mixture Models、GMM)は、多くの科学的領域に適用できるカーネルモデルに基づく最も強力なパラメトリック密度推定器の1つである。 近年、データソースの劇的な拡大に伴い、典型的な機械学習アルゴリズム、例えば期待最大化(em)は、高次元およびストリーミングデータで困難に直面する。 さらに、複雑な密度はしばしば多数のガウス成分を必要とする。 本稿では,一階確率最適化を用いたGMMの高速オンラインパラメータ推定アルゴリズムを提案する。 このアプローチは、高次元のストリーミングデータや複雑な密度に直面した場合のGMMの課題に対応するためのフレームワークを提供する。 直交性を保存する新しい確率多様体最適化アルゴリズムを導入し、よく知られたユークリッド空間の数値最適化と共に用いる。 合成データと実データの両方における数多くの実験結果により,提案手法がem法よりも精度良く収束し,収束に必要なエポック数が少なく,エポック当たりの時間消費も少ないという点で有効であることが証明された。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• A unified consensus-based parallel ADMM algorithm for high-dimensional regression with combined regularizations [3.280169909938912]
  並列交互乗算器 (ADMM) は大規模分散データセットの処理に有効であることが広く認識されている。 提案アルゴリズムは,財務事例の信頼性,安定性,スケーラビリティを示す。
  論文  参考訳（メタデータ） (2023-11-21T03:30:38Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Algorithme EM r\'egularis\'e [0.0]
  本稿では,より少ないサンプルサイズに対応するために,事前知識を効率的に活用するEMアルゴリズムの正規化バージョンを提案する。 実データを用いた実験では,クラスタリングのための提案アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-07-04T23:19:25Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Regularized EM algorithm [9.367612782346205]
  本稿では,従来の知識を効率的に活用し,LSSの状況に対処できる,GMM-sの正規化EMアルゴリズムを提案する。 コンバージェンスホールドの理論的保証は、構造化共分散行列モデルや低サンプル設定のEMアルゴリズムの性能向上につながることを示す。
  論文  参考訳（メタデータ） (2023-03-27T08:32:20Z)
• A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
  我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。 このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
  論文  参考訳（メタデータ） (2023-02-06T23:34:51Z)
• Regularization and Optimization in Model-Based Clustering [4.096453902709292]
  k-平均アルゴリズムの変種は、本質的に同じ球面ガウスの混合と、そのような分布から大きく逸脱するデータに適合する。 一般のGMMに対してより効率的な最適化アルゴリズムを開発し、これらのアルゴリズムと正規化戦略を組み合わせ、過度な適合を避ける。 これらの結果から, GMM と k-means 法の間の現状に新たな光を当て, 一般 GMM をデータ探索に利用することが示唆された。
  論文  参考訳（メタデータ） (2023-02-05T18:22:29Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。