論文の概要: Turbo-GMM: FlashAttention-Inspired GPU-Accelerated Gaussian Mixture Model
- arxiv url: http://arxiv.org/abs/2611.02449v1
- Date: Mon, 02 Nov 2026 03:13:34 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:24:12.428123
- Title: Turbo-GMM: FlashAttention-Inspired GPU-Accelerated Gaussian Mixture Model
- Title（参考訳）: Turbo-GMM: FlashAttention-inspired GPU-Accelerated Gaussian Mixture Model
- Abstract要約: Turbo-GMMは、コンポーネント次元の1つ内で責任正規化と十分な統計的蓄積を完了させる、シングルスイープの融合EMカーネルである。
以上の結果から,Turbo-GMM は Flash-GMM 実装を平均的に2.15 ドル,PyTorch と textttscikit-learn で最大5.3 ドルを実現していることがわかった。
- 参考スコア（独自算出の注目度）: 4.542331789204584
- License:
- Abstract: Expectation-maximization (EM) for Gaussian mixture models (GMMs) requires scoring $N$ data points against $K$ mixture components. Prior fused GPU implementations, notably Flash-GMM, eliminate materialization of the $N \times K$ responsibility matrix but traverse the component dimension twice to compute normalization terms and accumulate sufficient statistics. We introduce Turbo-GMM, a single-sweep fused EM kernel that completes responsibility normalization and sufficient-statistic accumulation within one traversal of the component dimension. By retaining the complete component axis on chip, Turbo-GMM avoids the second score computation required by the released two-sweep Flash-GMM implementation. Its applicability is limited by register pressure, occupancy, and the component and feature dimensions, making it particularly suitable for large datasets with relatively small numbers of components. For larger configurations, Turbo-GMM employs a two-pass fallback following the established fused design. We establish algebraic equivalence to standard EM in real arithmetic and evaluate sixteen configurations on an NVIDIA A100. Under the reported benchmarking protocol, Turbo-GMM achieves a median $2.15\times$ speedup over the evaluated Flash-GMM implementation and up to $5.3\times$ and $9.9\times$ over PyTorch and \texttt{scikit-learn}, respectively. The results demonstrate the potential of single-sweep component traversal while identifying on-chip resource constraints as the principal limitation of this approach.
- Abstract（参考訳）: ガウス混合モデル(GMM)に対する期待最大化(EM)には、$K$の混合成分に対して$N$のデータポイントを得点する必要がある。
それまでの融合GPU実装、特にFlash-GMMは、$N \times K$ responsibility matrixの実体化を排除したが、コンポーネント次元を2回横切り、正規化項を計算し、十分な統計情報を蓄積した。
本稿では,コンポーネント次元の1つのトラバーサル内における責任正規化と十分な統計蓄積を完備する単一スイープEMカーネルであるTurbo-GMMを紹介する。
チップ上の完全なコンポーネント軸を保持することで、Turbo-GMMは、リリースした2ステップのFlash-GMM実装に必要な第2スコア計算を避けることができる。
その適用性はレジスタの圧力、占有力、コンポーネントと特徴の次元によって制限されており、比較的少数のコンポーネントを持つ大規模なデータセットに特に適している。
大きな構成では、Turbo-GMMは2パスのフォールバックを採用している。
我々は、実算術における標準EMの代数的等価性を確立し、NVIDIA A100上で16の構成を評価する。
報告されたベンチマークプロトコルの下で、Turbo-GMMは、評価済みのFlash-GMM実装よりも中央値2.15\times$のスピードアップを達成し、最大5.3\times$と9.9\times$ over PyTorchと \texttt{scikit-learn}をそれぞれ達成している。
以上の結果から,オンチップ資源制約を本手法の主要な制約として認識しながら,シングルスイープなコンポーネントトラバースの可能性を示す。
関連論文リスト
- Is $\sqrt{d}$ Separation Necessary for Gradient EM to Learn Gaussian Mixtures in High Dimensions? [54.060185145753714]
次元依存は高次元設定では避けられないことを示す。
本稿では, 標準EM更新を混合重みと勾配EM更新に用いたハイブリッドEMアルゴリズムについて検討する。
論文 参考訳（メタデータ） (2026-10-06T00:29:03Z) - SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。
本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。
各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
論文 参考訳（メタデータ） (2026-09-29T09:38:29Z) - Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices [18.428868416628017]
本稿では,中程度間隔の大規模言語モデル(LLM)に対する効率的な推論手法を提案する。
SpInferで最大1.64倍のスピードアップを実現し、FlashLLMで最大1.41倍のエンドツーエンドスピードアップを実現している。
論文 参考訳（メタデータ） (2026-06-13T13:38:27Z) - Flash-GMM: A Memory-Efficient Kernel for Scalable Soft Clustering [3.845089876398699]
Flash-GMM は、既存の実装に対する textbf20$times$ Speedup を達成する。
ソフトなGMMクラスタリングが現在,$k$-meansの代替として実現可能であることを示す。
論文 参考訳（メタデータ） (2026-06-09T14:07:18Z) - CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs [48.961770224590204]
CODAは、これらの計算をGEMM+epilogueプログラムとして表現するGPUカーネル抽象化である。
我々は,CODAがフレームワークレベルの生産性とハードウェアレベルの効率を両立させるための実践的な方法を提供することを示した。
論文 参考訳（メタデータ） (2026-05-19T02:30:43Z) - Beyond GEMM-Centric NPUs: Enabling Efficient Diffusion LLM Sampling [14.471123653746275]
Diffusion Large Language Models (dLLMs) は、並列トークン生成を可能にする反復型デノゲーションを導入している。
我々の設計では、軽量な非GEMMベクトルプリミティブ、インプレースメモリ再利用戦略、分離された混合精度メモリ階層を用いる。
論文 参考訳（メタデータ） (2026-01-28T15:37:50Z) - Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixtures [53.51230405648361]
勾配EMの力学を考察し, テンソル分解を用いて幾何的景観を特徴付ける。
これは、m=2$という特別な場合を超えるEMや勾配EMに対する最初の大域収束と回復の結果である。
論文 参考訳（メタデータ） (2025-06-06T23:32:38Z) - Sublinear Variational Optimization of Gaussian Mixture Models with Millions to Billions of Parameters [5.429282997550318]
約1億の画像に対して100億以上のパラメータを持つGMMをトレーニングし、1つの最先端CPU上で約9時間のトレーニング時間を観察する。
提案アルゴリズムは,繰り返し毎のランタイムの複雑性を$mathcalO(NCD2)$から$D$で線形にスケーリングし,定数w.r.tを継続する複雑性に著しく低減する。
概念実証として、約1億の画像に対して100億以上のパラメータを持つGMMをトレーニングし、1つの最先端CPU上で約9時間のトレーニング時間を観察する。
論文 参考訳（メタデータ） (2025-01-21T17:11:25Z) - Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。
MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。
MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
論文 参考訳（メタデータ） (2024-07-09T08:50:18Z) - SMASH: Sparse Matrix Atomic Scratchpad Hashing [0.0]
本稿では,行単位の製品アプローチに基づく新しいSpGEMMカーネルの実装を提案する。
我々は原子インストラクションを利用して中間部分積を生成時にマージする。
我々のカーネルは競合するアプローチと比較して9.4倍のスピードアップを達成することができる。
論文 参考訳（メタデータ） (2021-05-29T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。