論文の概要: SwapMoE: Serving Off-the-shelf MoE-based Language Models with Tunable Memory Budget

• arxiv url: http://arxiv.org/abs/2308.15030v3
• Date: Tue, 28 May 2024 02:08:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 04:26:53.038207
• Title: SwapMoE: Serving Off-the-shelf MoE-based Language Models with Tunable Memory Budget
• Title（参考訳）: SwapMoE: 可変メモリ予算による既製のMoEベースの言語モデルの実現
• Authors: Rui Kong, Yuanchun Li, Qingtian Feng, Weijun Wang, Xiaozhou Ye, Ye Ouyang, Linghe Kong, Yunxin Liu,
• Abstract要約: 我々は,学習可能なメモリ予算を備えたMoEベースの大規模言語モデルの効率的な機能を実現するためのフレームワークであるSwapMoEを紹介する。 SwapMoEは適切な精度を維持しながらメモリフットプリントを削減できることが実験で示されている。
• 参考スコア（独自算出の注目度）: 20.33693233516486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture of experts (MoE) is a popular technique to improve capacity of Large Language Models (LLMs) with conditionally-activated parallel experts. However, serving MoE models on memory-constrained devices is challenging due to the large parameter size. Typical solutions such as memory swapping or expert pruning may lead to significantly higher latency or severe accuracy loss. In this paper, we introduce SwapMoE, a framework for efficient serving of MoE-based large language models with tunable memory budgets. The main idea of SwapMoE is to keep a small dynamic set of important experts, namely Virtual Experts, in the main memory for inference, while seamlessly maintaining how the Virtual Experts map to the actual experts. Experiments have shown that SwapMoE can reduce the memory footprint while maintaining reasonable accuracy. For example, on text summarization tasks with Switch Transformer, SwapMoE can reduce the memory consumption from 14.2 GiB to 4.7 GiB, together with 50\% latency reduction and a slight Rouge-2 score drop of 0.041.
• Abstract（参考訳）: エキスパートの混合(MoE)は、条件付きアクティベートされた並列専門家によるLLM(Large Language Models)のキャパシティを改善するための一般的なテクニックである。 しかし、メモリ制限されたデバイスにMoEモデルを提供するのは、大きなパラメータサイズのため困難である。 メモリスワップやエキスパートプルーニングのような典型的なソリューションは、レイテンシが大幅に高くなり、精度が著しく低下する可能性がある。 本稿では,学習可能なメモリ予算を持つMoEベースの大規模言語モデルの効率的な機能を実現するためのフレームワークであるSwapMoEを紹介する。 SwapMoEの主な考え方は、仮想専門家の小さなダイナミックなセット、すなわち仮想専門家を推論のメインメモリに置き、仮想専門家が実際の専門家にどのようにマップするかをシームレスに維持することだ。 SwapMoEは適切な精度を維持しながらメモリフットプリントを削減できることが実験で示されている。 例えば、Switch Transformerを使ったテキスト要約タスクでは、SwapMoEはメモリ消費を14.2 GiBから4.7 GiBに減らし、50\%の遅延削減とルージュ2のスコアダウンを0.041に抑えることができる。

関連論文リスト

• Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
  そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-09T08:50:18Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models [15.346491299728463]
  MoNDEは、$textithot$のエキスパートだけをGPUに転送することで、MoEパラメータの運動量を削減する。 MoNDEは通信効率のよいMoE推論を可能にし、結果としてかなりのスピードアップをもたらす。
  論文  参考訳（メタデータ） (2024-05-29T07:23:29Z)
• Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models [62.4691912312317]
  Mixture-of-Experts (MoE)言語モデルは、性能を犠牲にすることなく、高密度モデルと比較して計算コストを2～4ドル削減することができる。 本稿では,強力な計算とパラメータ効率を実現するMOEモデル(DS-MoE)のためのハイブリッド密集型トレーニングおよびスパース推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-08T14:39:49Z)
• QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
  Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。 本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:53Z)
• Mixture of Quantized Experts (MoQE): Complementary Effect of Low-bit Quantization and Robustness [10.196942053244468]
  大規模なMixture of Experts (MoE)モデルは、様々な言語タスクで最先端の品質を達成することができる。 MoQEは、超低ビットから2ビットまでの量子化を専門家の重みのみに適用する単純な重みのみの量子化法である。 低ビット量子化とMoEアーキテクチャは信頼性の高いモデル性能を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-03T20:11:23Z)
• Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts [55.282613372420805]
  我々は、資源制約された視覚アプリケーションにとってより魅力的な視覚変換器(ViT)をスケールダウンするために、スパースMOE(sparse MoEs)の使用について検討する。 我々は,個々のパッチではなく画像全体を専門家にルーティングする,シンプルでモバイルフレンドリーなMoE設計を提案する。 V-MoEs(V-MoEs)は高密度VTよりも性能と効率のトレードオフが優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-09-08T14:24:10Z)
• EdgeMoE: Fast On-Device Inference of MoE-based Large Language Models [3.597163516372061]
  EdgeMoEは、Mix-of-expert (MoE) LLM用に設計されたデバイス上の推論エンジンである。 ストレージ階層間でモデルを戦略的に分割することで、メモリと計算の効率を両立させる。 競合するベースラインソリューションと比較してメモリ節約とパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2023-08-28T06:56:08Z)
• Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference [23.207326766883405]
  Mixture-of-Experts (MoE)は、計算要求を比例的にスケールアップすることなく、モデルサイズをスケールすることができる。 プレゲートMOEは、スパース専門家活性化の動的性質を緩和する新しいプレゲート機能を用いている。 我々は、Pre-gated MoEが、同じレベルのモデル品質を維持しながら、パフォーマンスを改善し、GPUメモリ消費を減らすことを実証した。
  論文  参考訳（メタデータ） (2023-08-23T11:25:37Z)
• From Sparse to Soft Mixtures of Experts [37.45298227203026]
  専門家アーキテクチャ(MoE)の疎結合は、トレーニングや推論コストを大幅に増加させることなく、モデルのキャパシティをスケールする。 トレーニングの不安定性、トークンのドロップ、専門家の数をスケールできないこと、非効率な微調整などだ。 我々は、これらの課題に対処しつつ、MoEの利点を維持しながら、完全に微分可能なスパーストランスであるSoft MoEを提案する。
  論文  参考訳（メタデータ） (2023-08-02T05:20:55Z)
• Task-Specific Expert Pruning for Sparse Mixture-of-Experts [105.20605021416276]
  Mixture-of-Experts (MoE) モデルは大規模な事前トレーニングには強力である。 MoEはクラウドやモバイル環境にデプロイするのは難しい。 本稿では,目標下流タスクの非専門的専門家を段階的に降ろす方法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T07:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。