論文の概要: Sublinear Variational Optimization of Gaussian Mixture Models with Millions to Billions of Parameters

• arxiv url: http://arxiv.org/abs/2501.12299v1
• Date: Tue, 21 Jan 2025 17:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:26:22.538219
• Title: Sublinear Variational Optimization of Gaussian Mixture Models with Millions to Billions of Parameters
• Title（参考訳）: 数百万から数十億のパラメータを持つガウス混合モデルの線形変分最適化
• Authors: Sebastian Salwig, Till Kahlke, Florian Hirschberger, Dennis Forster, Jörg Lücke,
• Abstract要約: 約1億の画像に対して100億以上のパラメータを持つGMMをトレーニングし、1つの最先端CPU上で約9時間のトレーニング時間を観察する。 提案アルゴリズムは,繰り返し毎のランタイムの複雑性を$mathcalO(NCD2)$から$D$で線形にスケーリングし,定数w.r.tを継続する複雑性に著しく低減する。 概念実証として、約1億の画像に対して100億以上のパラメータを持つGMMをトレーニングし、1つの最先端CPU上で約9時間のトレーニング時間を観察する。
• 参考スコア（独自算出の注目度）: 5.429282997550318
• License:
• Abstract: Gaussian Mixture Models (GMMs) range among the most frequently used machine learning models. However, training large, general GMMs becomes computationally prohibitive for datasets with many data points $N$ of high-dimensionality $D$. For GMMs with arbitrary covariances, we here derive a highly efficient variational approximation, which is integrated with mixtures of factor analyzers (MFAs). For GMMs with $C$ components, our proposed algorithm significantly reduces runtime complexity per iteration from $\mathcal{O}(NCD^2)$ to a complexity scaling linearly with $D$ and remaining constant w.r.t. $C$. Numerical validation of this theoretical complexity reduction then shows the following: the distance evaluations required for the entire GMM optimization process scale sublinearly with $NC$. On large-scale benchmarks, this sublinearity results in speed-ups of an order-of-magnitude compared to the state-of-the-art. As a proof of concept, we train GMMs with over 10 billion parameters on about 100 million images, and observe training times of approximately nine hours on a single state-of-the-art CPU.
• Abstract（参考訳）: ガウス混合モデル(英: Gaussian Mixture Models、GMM)は、最も頻繁に使用される機械学習モデルの一つ。 しかし、大規模で一般的なGMMは、多くのデータポイントを持つデータセットに対して、高次元の$D$で計算的に禁止される。 任意の共分散を持つGMMに対しては、係数解析器(MFA)の混合と統合された高効率な変動近似を導出する。 C$ コンポーネントを持つ GMM の場合,提案アルゴリズムは繰り返し毎のランタイムの複雑性を $\mathcal{O}(NCD^2)$ から $D$ で線形に拡張し,定数 w.r.t.$C$ で継続する複雑性へと著しく低減する。 この理論的複雑性の低減の数値的な検証は、以下を示す: GMM最適化プロセス全体に必要な距離評価は、$NC$でサブ線形に行われる。 大規模なベンチマークでは、このサブリニアリティは、最先端の方法と比較して、マグニチュード・オブ・マグニチュードのスピードアップをもたらす。 概念実証として、約1億の画像に対して100億以上のパラメータを持つGMMをトレーニングし、1つの最先端CPU上で約9時間のトレーニング時間を観察する。

関連論文リスト

• Stochastic First-Order Learning for Large-Scale Flexibly Tied Gaussian Mixture Model [3.4546761246181696]
  ガウス混合モデル(GMM)の多様体上での新しい最適化アルゴリズムを提案する。 我々は,予測最大化アルゴリズムを,より高い確率で達成し,収束のエポックを少なくし,各エポックあたりの時間を少なくすることができることを観察した。
  論文  参考訳（メタデータ） (2022-12-11T04:24:52Z)
• Sparse Kernel Gaussian Processes through Iterative Charted Refinement (ICR) [0.0]
  本稿では,ガウス過程をモデル化するためのICR(Iterative Charted Refinement)という新しい生成手法を提案する。 ICRは、様々な解像度でモデル化された場所のビューとユーザが提供する座標チャートを組み合わせることで、長距離および短距離の相関を表現している。 ICRは、CPUとGPUの1桁の計算速度で既存の手法より優れています。
  論文  参考訳（メタデータ） (2022-06-21T18:00:01Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)
• Tensor Moments of Gaussian Mixture Models: Theory and Applications [1.6114012813668934]
  我々はGMMのモーメントテンソルを用いた暗黙計算の理論と数値計算法を開発した。 未知の手段が対称テンソル分解に還元される場合、データ観測の偏りを抑えることが可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-14T18:42:11Z)
• Robust Model Selection and Nearly-Proper Learning for GMMs [26.388358539260473]
  学習理論では、データは有限混合モデルから生成されるという標準的な仮定がある。しかし、コンポーネントの数が事前に分かっていないときに何が起こるのか。 対数係数内の分布に適合するために必要な最小コンポーネント数を、およそ決定することができる。
  論文  参考訳（メタデータ） (2021-06-05T01:58:40Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Faster Stochastic Alternating Direction Method of Multipliers for Nonconvex Optimization [110.52708815647613]
  本稿では、SPADMMと呼ばれる新しい経路を用いて、非積分最適化のための乗算器の高速な交互方向(ADMM)を提案する。 我々は,SPADMMが1次微分オラクル推定器 (IFO) を達成し,IFOの記録を求める。 我々は,オンラインSPIDER-ADMMがIFOFO(epsilon)を$mathcalO(n1)$の係数で持つことを示した。
  論文  参考訳（メタデータ） (2020-08-04T02:59:42Z)
• Convergence of Sparse Variational Inference in Gaussian Processes Regression [29.636483122130027]
  計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
  論文  参考訳（メタデータ） (2020-08-01T19:23:34Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)
• FANOK: Knockoffs in Linear Time [73.5154025911318]
  本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 当社のメソッドは、最大50,000ドルという問題でテストしています。
  論文  参考訳（メタデータ） (2020-06-15T21:55:34Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。