論文の概要: FloE: On-the-Fly MoE Inference on Memory-constrained GPU

• arxiv url: http://arxiv.org/abs/2505.05950v2
• Date: Mon, 12 May 2025 03:29:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 14:13:13.061416
• Title: FloE: On-the-Fly MoE Inference on Memory-constrained GPU
• Title（参考訳）: FloE: メモリ制約付きGPU上でのMoEのオンザフライ推論
• Authors: Yuxin Zhou, Zheng Li, Jun Zhang, Jue Wang, Yiping Wang, Zhongle Xie, Ke Chen, Lidan Shou,
• Abstract要約: FloEは、わずかに活性化された専門家の中に、未解決の相当な冗長性が存在するという洞察に基づいて構築されている。 FloEはMixtral-8x7Bのエキスパートあたりのパラメータの9.3倍の圧縮を実現している。 メモリフットプリントを最大8.5倍に削減し、たった11GBのVRAMでGPUにデプロイできる。
• 参考スコア（独自算出の注目度）: 22.2581000412208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the widespread adoption of Mixture-of-Experts (MoE) models, there is a growing demand for efficient inference on memory-constrained devices. While offloading expert parameters to CPU memory and loading activated experts on demand has emerged as a potential solution, the large size of activated experts overburdens the limited PCIe bandwidth, hindering the effectiveness in latency-sensitive scenarios. To mitigate this, we propose FloE, an on-the-fly MoE inference system on memory-constrained GPUs. FloE is built on the insight that there exists substantial untapped redundancy within sparsely activated experts. It employs various compression techniques on the expert's internal parameter matrices to reduce the data movement load, combined with low-cost sparse prediction, achieving perceptible inference acceleration in wall-clock time on resource-constrained devices. Empirically, FloE achieves a 9.3x compression of parameters per expert in Mixtral-8x7B; enables deployment on a GPU with only 11GB VRAM, reducing the memory footprint by up to 8.5x; and delivers a 48.7x inference speedup compared to DeepSpeed-MII on a single GeForce RTX 3090 - all with only a 4.4$\%$ - 7.6$\%$ average performance degradation.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルの普及に伴い、メモリ制約のあるデバイスに対する効率的な推論の需要が高まっている。 CPUメモリに専門家パラメータをオフロードし、要求に応じてアクティベートされた専門家をロードすることは潜在的な解決策として現れているが、アクティベートされた専門家の大規模なサイズは、PCIe帯域幅の制限を過大評価し、レイテンシに敏感なシナリオの有効性を妨げている。 これを軽減するために、メモリ制約付きGPU上でのオンザフライMoE推論システムであるFloEを提案する。 FloEは、わずかに活性化された専門家の中に、未解決の相当な冗長性が存在するという洞察に基づいて構築されている。 これは、専門家の内部パラメータ行列に様々な圧縮技術を用いて、データ移動負荷を低減し、低コストのスパース予測と組み合わせて、リソース制約されたデバイス上でウォールクロック時間で知覚可能な推論加速度を達成する。 経験的に、FloEはMixtral-8x7Bのエキスパート1人あたりのパラメータの9.3倍の圧縮を実現し、11GBのVRAMでGPUへのデプロイを可能にし、メモリフットプリントを最大8.5倍に削減し、単一のGeForce RTX 3090でDeepSpeed-MIIと比較して48.7倍の推論速度を提供する。

関連論文リスト

• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [71.43026659686679]
  大規模言語モデル(LLM)は急速に規模を拡大し、リソース制約のあるハードウェアに効率的なデプロイを行う上での課題を生み出している。 圧縮フレームワークであるDynamic-Length Float (DFloat11)を導入し、LLMのサイズを30%削減し、元のモデルと同じビット対ビットの出力を保存する。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• Mixture of Lookup Experts [63.787712153454464]
  Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。 MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
  論文  参考訳（メタデータ） (2025-03-20T02:31:57Z)
• PIPO: Pipelined Offloading for Efficient Inference on Consumer Devices [13.786008100564185]
  我々は、消費者デバイス上で効率的な推論を行うための、パイプラインオフロード(PIPO)と呼ばれる新しいフレームワークを提案する。 PIPOは、推論のための高効率なスケジューリングを実現するために、最適化されたデータ転送と計算を補完するきめ細かいオフロードパイプラインを設計する。
  論文  参考訳（メタデータ） (2025-03-15T08:48:38Z)
• eMoE: Task-aware Memory Efficient Mixture-of-Experts-Based (MoE) Model Inference [6.642099288463585]
  大規模言語モデル(LLM)のためのメモリ効率の良い推論システムeMoEを提案する。 eMoEは、専門家ルーティングの繰り返しパターンに基づいて、必要な専門家のみを予測およびロードすることで、メモリ使用量を削減する。 また、処理のプロンプトが40倍長くなり、バッチが4.5倍大きくなり、スループットが1.5倍向上する。
  論文  参考訳（メタデータ） (2025-03-10T01:11:52Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• MEFT: Memory-Efficient Fine-Tuning through Sparse Adapter [40.616849959987555]
  本稿では,大規模言語モデル (LLM) を大容量かつメモリ効率のよいアダプタで微調整する機構を提案する。 これは、LLMのFeed-Forward Networks(FFN)における固有のアクティベーション間隔を活用することで実現される。 我々は、不必要なCPU計算を緩和し、GPUとCPU間の通信量を削減するために、Mixture of Experts(MoE)のようなアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2024-06-07T14:49:22Z)
• MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models [15.346491299728463]
  MoNDEは、$textithot$のエキスパートだけをGPUに転送することで、MoEパラメータの運動量を削減する。 MoNDEは通信効率のよいMoE推論を可能にし、結果としてかなりのスピードアップをもたらす。
  論文  参考訳（メタデータ） (2024-05-29T07:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。