論文の概要: SiDA-MoE: Sparsity-Inspired Data-Aware Serving for Efficient and Scalable Large Mixture-of-Experts Models

• arxiv url: http://arxiv.org/abs/2310.18859v2
• Date: Fri, 17 May 2024 23:33:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 00:10:05.652476
• Title: SiDA-MoE: Sparsity-Inspired Data-Aware Serving for Efficient and Scalable Large Mixture-of-Experts Models
• Title（参考訳）: SiDA-MoE: スペシャリティにインスパイアされた高効率かつスケーラブルなMixture-of-Expertsモデルのためのデータ認識サービング
• Authors: Zhixu Du, Shiyu Li, Yuhao Wu, Xiangyu Jiang, Jingwei Sun, Qilin Zheng, Yongkai Wu, Ang Li, Hai "Helen" Li, Yiran Chen,
• Abstract要約: Mixture-of-Experts (MoE) は、大規模モデルの時代に好意的なアーキテクチャとして登場した。 しかし、そのような利点を実現することは、しばしばGPUメモリの有効利用に繋がる。 我々は、大規模なMoEモデルに適した効率的な推論手法であるSiDA-MoEを紹介する。
• 参考スコア（独自算出の注目度）: 20.16600129902895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) has emerged as a favorable architecture in the era of large models due to its inherent advantage, i.e., enlarging model capacity without incurring notable computational overhead. Yet, the realization of such benefits often results in ineffective GPU memory utilization, as large portions of the model parameters remain dormant during inference. Moreover, the memory demands of large models consistently outpace the memory capacity of contemporary GPUs. Addressing this, we introduce SiDA-MoE ($\textbf{S}$parsity-$\textbf{i}$nspired $\textbf{D}$ata-$\textbf{A}$ware), an efficient inference approach tailored for large MoE models. SiDA-MoE judiciously exploits both the system's main memory, which is now abundant and readily scalable, and GPU memory by capitalizing on the inherent sparsity on expert activation in MoE models. By adopting a data-aware perspective, SiDA-MoE achieves enhanced model efficiency with a neglectable performance drop. Specifically, SiDA-MoE attains a remarkable speedup in MoE inference with up to $3.93\times$ throughput increasing, up to $72\%$ latency reduction, and up to $80\%$ GPU memory saving with down to $1\%$ performance drop. This work paves the way for scalable and efficient deployment of large MoE models, even with constrained resources. Code is available at: https://github.com/timlee0212/SiDA-MoE.
• Abstract（参考訳）: Mixture-of-Experts (MoE) は、その固有の利点、すなわち、顕著な計算オーバーヘッドを伴わずにモデル容量を増大させることにより、大規模モデルの時代に好まれるアーキテクチャとして登場した。 しかし、そのような利点の実現は、推論中にモデルパラメータの大部分が休眠状態のままであるため、GPUメモリの非効率利用につながることが多い。 さらに、大きなモデルのメモリ要求は、現代のGPUのメモリ能力より一貫して優れている。 これに対応するために、大規模なMoEモデルに適した効率的な推論手法であるSiDA-MoE ($\textbf{S}$parsity-$\textbf{i}$nspired $\textbf{D}$ata-$\textbf{A}$wareを紹介する。 SiDA-MoEは、MoEモデルのエキスパートアクティベーションに固有の間隔を生かして、現在豊富でスケーラブルなシステムのメインメモリとGPUメモリの両方を巧みに利用している。 データ認識の観点を採用することで、SiDA-MoEは、無視可能な性能低下を伴うモデル効率の向上を実現する。 具体的には、SiDA-MoEはMoE推論の驚くべきスピードアップを達成し、スループットが最大3.93\times$、レイテンシが最大72\%、GPUメモリが最大80\%、パフォーマンスが最大1\%ダウンする。 この作業は、制約のあるリソースでさえも、大規模MOEモデルのスケーラブルで効率的なデプロイの道を開く。 コードは、https://github.com/timlee0212/SiDA-MoE.comで入手できる。

関連論文リスト

• S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs [7.816840847892339]
  投機的復号法(SD)は、LLM推論で実現可能な相当な高速化のために、かなりの量の研究の注目を集めている。 本研究では,Skippy Simultaneous Speculative Decoding (S3D)を提案する。 提案手法は,最小限のアーキテクチャ変更とデータトレーニングを必要としながら,最高のパフォーマンス・メモリ比の1つを達成した。
  論文  参考訳（メタデータ） (2024-05-30T17:54:35Z)
• DiG: Scalable and Efficient Diffusion Models with Gated Linear Attention [82.24166963631949]
  Diffusion Gated Linear Attention Transformers (DiG) は、Diffusion Transformers (DiT) の設計に従って、最小限のパラメータオーバーヘッドを持つ単純で適用可能なソリューションである。 DiTよりも優れたパフォーマンスに加えて、DiG-S/2はDiT-S/2よりも2.5times$高いトレーニング速度を示し、メモリ解像度は75.7%$179times 1792$である。 同じモデルサイズで、DIG-XL/2は最近のMambaベースの拡散モデルより4.2倍、解像度は1024ドルで、FlashAttention-2でDiTより1.8倍速い。
  論文  参考訳（メタデータ） (2024-05-28T17:59:33Z)
• Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models [62.4691912312317]
  Mixture-of-Experts (MoE)言語モデルは、性能を犠牲にすることなく、高密度モデルと比較して計算コストを2～4ドル削減することができる。 本稿では,強力な計算とパラメータ効率を実現するMOEモデル(DS-MoE)のためのハイブリッド密集型トレーニングおよびスパース推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-08T14:39:49Z)
• MEMORYLLM: Towards Self-Updatable Large Language Models [101.3777486749529]
  既存のLarge Language Models (LLM) は通常、デプロイ後も静的のままである。 本稿では,変圧器と固定サイズのメモリプールを備えたモデルMEMORYLLMを紹介する。 MEMORYLLMは、テキスト知識を自己更新し、早期に注入された知識を記憶することができる。
  論文  参考訳（メタデータ） (2024-02-07T07:14:11Z)
• MoE-Infinity: Offloading-Efficient MoE Model Serving [15.826989637041907]
  MoE-Infinity(モエ・インフィニティ)は、Sparse Mixed-of-Experts(MoE)モデルのためのオフロード効率の高いサービスシステムである。 オフロードを最適化するために、MoE-Infinityはエキスパートアクティベーションのための新しい要求レベルのトレースを実現する。 MoE-Infinityはより優れたレイテンシ性能を示し、様々なMoEモデルを提供する際に2-20倍の改善を提供する。
  論文  参考訳（メタデータ） (2024-01-25T18:07:50Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)
• KOALA: Empirical Lessons Toward Memory-Efficient and Fast Diffusion Models for Text-to-Image Synthesis [52.42320594388199]
  効率的なテキスト・ツー・イメージ・モデルを構築する上で重要なプラクティスを3つ提示する。 これらの結果に基づき、KOALA-Turbo &-Lightningと呼ばれる2種類の効率的なテキスト・画像モデルを構築した。 SDXLとは異なり、私たちのKOALAモデルは8GBのVRAM(3060Ti)を持つコンシューマグレードGPU上で1024pxの高解像度画像を生成することができる。
  論文  参考訳（メタデータ） (2023-12-07T02:46:18Z)
• Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference [23.207326766883405]
  Mixture-of-Experts (MoE)は、計算要求を比例的にスケールアップすることなく、モデルサイズをスケールすることができる。 プレゲートMOEは、スパース専門家活性化の動的性質を緩和する新しいプレゲート機能を用いている。 我々は、Pre-gated MoEが、同じレベルのモデル品質を維持しながら、パフォーマンスを改善し、GPUメモリ消費を減らすことを実証した。
  論文  参考訳（メタデータ） (2023-08-23T11:25:37Z)
• Towards MoE Deployment: Mitigating Inefficiencies in Mixture-of-Expert (MoE) Inference [7.743308058511418]
  言語モデリング(LM)と機械翻訳(MT)という2つのMoEワークロードの特徴を提供する。 本研究では,(1)動的ゲーティング,(2)エキスパートバッファリング,(3)エキスパートロードバランシングの3つの最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T19:30:15Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。