論文の概要: GC-MoE on SM120: Overlapping Expert-Parallel Token Dispatch with Warp-Level FP8xFP4 Block-Scaled MMA on Consumer Blackwell
- arxiv url: http://arxiv.org/abs/2611.16219v1
- Date: Thu, 12 Nov 2026 03:10:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.34784
- Title: GC-MoE on SM120: Overlapping Expert-Parallel Token Dispatch with Warp-Level FP8xFP4 Block-Scaled MMA on Consumer Blackwell
- Title(参考訳): GC-MoE on SM120: Warp-Level FP8xFP4 Block-Scaled MMA on Consumer Blackwell
- Abstract要約: 我々は、レジスタAのFP4重みとBのFP8アクティベートとSM120固有のメカニズムにより、スワップ-ABブロックスケールのMMAの周囲にカーネルを再構築する。
PCIe上の8xRTX PRO 5000では、オペレータは、FlashInfer Cu4A8 MegaMoEとCake MegaMoEより1.522x1.387x高速である。
- 参考スコア(独自算出の注目度): 9.953590958152168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expert-parallel Mixture-of-Experts decoding is latency bound: each layer serializes a token exchange, a grouped GEMM over routed experts, and a combine, while only a few tokens per rank are in flight. Prior GC-MoE fused these phases into one persistent, Green-Context-partitioned CUDA Graph on Hopper (SM90) and datacenter Blackwell (SM100). This paper rebuilds the operator for SM120 (compute capability 12.0, e.g. RTX PRO 5000) over PCIe. SM120 exposes block-scaled tensor cores only through warp-level mma.sync.aligned.kind::mxf8f6f4: no tensor memory, no two-CTA MMA, no cluster multicast. We rebuild the kernel around a swap-AB warp-level block-scaled MMA with FP4 weights in the register A operand and FP8 activations in B, plus SM120-specific mechanisms: scale-byte selection through MMA immediates, a compact-weights path, an adaptive token-tile geometry, an expert-granular streaming dispatch with a batched bulk-pull engine and a 64-bit deduplicating pull cache, full-width BF16 returns drained by resident relay copiers over a position-major arena, and shared experts folded into the compute role. On 8xRTX PRO 5000 over PCIe the operator is 1.522x and 1.387x faster than the FlashInfer CuTe DSL W4A8 MegaMoE and the Cake MegaMoE across 18 decode points (18/18 wins each), and 1.388x faster than Cake with shared experts fused; all 94 numerical cases and 752 per-rank checks pass, at cross-operator cosine similarity of at least 0.9999997.
- Abstract(参考訳): 各レイヤはトークン交換、ルーティングされた専門家に対するグループ化されたGEMM、およびコンバインをシリアライズする。
GC-MoEはこれらのフェーズを、グリーンコンテキスト分割のCUDA Graph on Hopper (SM90) とデータセンタのBlackwell (SM100) に融合させた。
本稿では,PCIe上でSM120(計算能力12.0,eg RTX PRO 5000)の演算子を再構築する。
SM120は、warp-level mma.sync.aligned.kind::mxf8f6f4: テンソルメモリなし、2つのCTA MMAなし、クラスタマルチキャストなし。
我々は、スワップ-ABワープレベルのブロックスケールMMAをレジスタ内のFP4重み付きでカーネルを再構築する。 オペランドとFP8アクティベーションに加えて、SM120固有のメカニズム: MMAのインシデントによるスケールバイト選択、コンパクトウェイトパス、適応トークンタイル幾何、バッチ化されたバルクプルエンジンと64ビットの非重複プルキャッシュを備えたエキスパート・グラニュラストリーミングディスパッチ、フル幅のBF16は、常駐のリレーパコーパスによってマジョア領域に格納され、共有専門家が計算ロールに分割される。
PCIe上の8xRTX PRO 5000では、オペレータはFlashInfer CuTe DSL W4A8 MegaMoEとCake MegaMoEより1.522x1.387倍高速で、18のデコードポイント(それぞれ18/18勝)でCakeより1.388倍高速で、共有専門家が融合している。
関連論文リスト
- GC-MoE: Overlapping Expert-Parallel Token Dispatch with FP8/FP4 Grouped GEMM via CUDA Green Contexts [6.990897820951724]
GC-MoEは、Hopper上のDeepSeek-V4.1Flashデコードのための融合演算子である。
Mega MoEは54点満点の精度でMega MoEを破る。
GC-MoEは148機中20機しかB300に配備していない。
論文 参考訳(メタデータ) (2026-11-03T03:04:04Z) - Integer-Exact Microscaling: Running MXFP4 Language Models on INT8 Matrix Units [2.8512277471917824]
2ブロック乗算器の代わりに整数を用いると、整数エクサクタフォーマット(16ワイドブロック、乗算器 1..10, 4.26 ビット)が1つの正確なINT8 GEMMとして動作する。
M5上の完全なW4A8システムは、量子化された参照に対してビットIDの出力を生成する。
論文 参考訳(メタデータ) (2026-10-31T00:18:06Z) - Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization [73.31438661879197]
Gemma 4 E4B のパラメータの35.2%を占める Per-Layer Embeddings (PLE) の極端な圧縮について検討した。
このような速度で、従来の量化器は各トークン層ベクトルに数バイトの独自の符号を与える。
我々は,トークン毎に1つの量子化されたコードを格納し,それを各層でデコードするOPTIC-Output-Path-fited,Token-Shared Indexed Codesを開発した。
論文 参考訳(メタデータ) (2026-10-22T14:07:01Z) - Cascadia: Resident 975B MoE Inference on Eleven AI PCs [0.0]
我々は、11台のIntel Core Ultra X7 358H AI PC上で、カスカディアのInklingの常駐実行を示す。
Inklingのルーティングルールを保存し、OpenVINOの融合したiGPUプリミティブのための圧縮グラフを構築するカスタム常駐MoEエンジンにコントリビュートする。
ストリーミングパイプラインは同時生成をコーディネートし、キャプチャ状態のドラフト評価は、展開された数値パスと一致させる。
論文 参考訳(メタデータ) (2026-10-05T18:29:24Z) - Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving [0.28304882054363123]
この研究はPTQTPの解法に制約としてそのアイデンティティを課した最初のものである。
我々は、284B-A13B混合エキスパートモデルであるDeepSeek-V4-Flash-0731のルートエキスパートに適用する。
すべてのコード、フォーマット、評価アーティファクトは、fucina推論スタックでオープンソースである。
論文 参考訳(メタデータ) (2026-08-09T20:53:47Z) - dMoE: dLLMs with Learnable Block Experts [71.572316901001]
単純なブロックレベルのMoEフレームワークであるdMoEを提案する。
また,dMoEは,推論中に一意に活性化される専門家の数を著しく減少させることを示した。
また、メモリ使用量を76.64%から79.84%に減らし、1.14$times$から1.66$times$エンドツーエンドのレイテンシ高速化を実現している。
論文 参考訳(メタデータ) (2026-05-29T06:03:50Z) - XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference [0.0]
XFPはコードブックのサイズ、アウトリーチ予算、レイヤごとのパッケージを自動的に決定する。
XFPはワークステーションハードウェア上で128 tok/sのシングルストリームデコードに達する。
対象メモリエンベロープに収まらないモデルに対しては、H-Processを示す。
論文 参考訳(メタデータ) (2026-05-14T13:52:31Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳(メタデータ) (2026-03-23T17:57:24Z) - BiMaCoSR: Binary One-Step Diffusion Model Leveraging Flexible Matrix Compression for Real Super-Resolution [63.777210548110425]
本稿では,バイナライゼーションと1段階蒸留を組み合わせたBiMaCoSRを提案する。
BiMaCoSRはFPに比べて23.8倍圧縮率と27.4倍スピードアップ比を達成した。
論文 参考訳(メタデータ) (2025-02-01T06:34:55Z) - Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。
分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。
SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文 参考訳(メタデータ) (2024-10-22T17:59:30Z) - DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。
本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。
最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文 参考訳(メタデータ) (2023-10-05T03:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。