論文の概要: Fuse-All MoE Inference Kernel with Load Balancing on TPUs
- arxiv url: http://arxiv.org/abs/2611.17857v1
- Date: Fri, 13 Nov 2026 07:43:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.328592
- Title: Fuse-All MoE Inference Kernel with Load Balancing on TPUs
- Title(参考訳): TPU上での負荷分散を考慮したFuse-All MoE推論カーネル
- Abstract要約: 本稿では、エキスパート計算、出力通信、負荷分散を共同で最適化するカーネル設計であるFuse-All MoEを紹介する。
Fuse-All MoEはEP16と比較してカーネルのレイテンシを最大21.3%削減する。
サービススタックの最適化に伴い、統合システムはMegablox EP16ベースラインで最大34.5%のスループット向上を実現した。
- 参考スコア(独自算出の注目度): 8.184210305590378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) architectures activate only a subset of experts for each token, allowing large language models (LLMs) to scale parameter capacity without a proportional increase in computation per token. However, intermediate data movement and uneven expert loads limit the efficiency of MoE inference on TPUs. To address these bottlenecks, we introduce Fuse-All MoE, a TPU kernel design that jointly optimizes expert computation, output communication, and load balancing. The kernel fuses token collection, expert projections, gated activation, and output writes, retaining expert computation intermediates on chip. Fixed token-slot destinations allow scheduling and expert placement to change while preserving routing semantics. In prefill-decode (PD) disaggregated serving, Fuse-All MoE balances EP16 prefill workloads through scheduling and expert redistribution, while symmetric EP8TP2 shares active expert computation between the two TensorCore devices within each chip during decode. Our experiments show that Fuse-All MoE reduces kernel runtime for a measured skewed EP16 prefill workload from 2.3x to 1.09x the same fixed reference time for a balanced workload. Across 32-512 decode tokens, symmetric EP8TP2 reduces kernel latency by up to 21.3% relative to fused EP16. With accompanying serving stack optimizations, the integrated system improves serving throughput by up to 34.5% over the Megablox EP16 baseline.
- Abstract(参考訳): Mixture-of-Experts (MoE) アーキテクチャはトークンごとに専門家のサブセットのみを活性化し、大きな言語モデル(LLM)がトークン当たりの計算量が比例的に増加することなくパラメータの容量をスケールできるようにする。
しかし、中間データ移動と不均一な専門家負荷は、TPU上でのMoE推論の効率を制限している。
これらのボトルネックに対処するために、専門家の計算、出力通信、ロードバランシングを共同で最適化するTPUカーネルであるFuse-All MoEを導入する。
カーネルはトークンコレクション、エキスパートプロジェクション、ゲートアクティベーション、出力書き込みを融合し、チップ上のエキスパート計算中間体を保持する。
固定されたトークンスロット宛先は、ルーティングセマンティクスを保持しながら、スケジューリングと専門家の配置を変更することができる。
Prefill-decode (PD) disaggregated serviceでは、Fuse-All MoEはスケジューリングとエキスパートの再配布を通じてEP16のプリフィルワークロードをバランスさせ、対称EP8TP2はデコード中に各チップ内の2つのTensorCoreデバイス間でアクティブなエキスパート計算を共有する。
我々の実験によると、Fuse-All MoEは、測定済みのEP16プリフィルワークロードのカーネルランタイムを2.3倍から1.09倍に削減する。
32-512以上のデコードトークンでは、対称EP8TP2は、融合EP16と比較して、カーネルのレイテンシを最大21.3%削減する。
サービススタックの最適化に伴い、統合システムはMegablox EP16ベースラインで最大34.5%のスループット向上を実現した。
関連論文リスト
- KOSMOS: Self-scheduling Persistent Kernels for Communication-Compute Overlap [45.70410332687873]
KOSMOSは、永続カーネルの自己スケジューリングのためのライブラリである。
GEMMでトランスのすべてのTP+SP集合を融合させ、ルーターから折り畳みまで、各方向に1回の発射で専門家層全体を走らせる。
論文 参考訳(メタデータ) (2026-11-05T05:36:08Z) - RepTC: Representation-Aware Optimization for Efficient Traffic Classification on Edge IoT Devices [2.4779082385578337]
本稿では,セッションレベルのトラフィック分類に対処する表現型ハードウェア制約戦略であるRepTCを提案する。
提案手法は、メモリ、モデルサイズ、計算に関するマイクロコントローラクラス制約を適用し、低消費電力エッジデバイスにデプロイ可能なコンパクトモデルを生成する。
その結果,表現認識による最適化は,競争力のある分類性能を維持しながら効率を向上できることがわかった。
論文 参考訳(メタデータ) (2026-10-03T21:53:01Z) - OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。
本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。
X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文 参考訳(メタデータ) (2026-05-19T10:53:03Z) - ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving [18.574823955774207]
本稿では,ZeRO-Prefillを提案する。ZeRO-Prefillはプリフィルのみのサービスシステムで,バックエンドはアクティベーションによってルーティングするのではなく,専門家を重みに集める。
Qwen3-235B-A22Bでは、4つのハードウェア/精度構成でZeRO-Prefillは1.35-1.37倍のスループットを提供する。
論文 参考訳(メタデータ) (2026-05-03T03:10:24Z) - Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。
極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。
本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
論文 参考訳(メタデータ) (2026-01-23T18:19:15Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳(メタデータ) (2025-10-23T14:02:34Z) - EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。
その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
論文 参考訳(メタデータ) (2024-10-16T05:17:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。