論文の概要: Tutel: Adaptive Mixture-of-Experts at Scale
- arxiv url: http://arxiv.org/abs/2206.03382v1
- Date: Tue, 7 Jun 2022 15:20:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 13:41:44.176233
- Title: Tutel: Adaptive Mixture-of-Experts at Scale
- Title(参考訳): Tutel: スケールでの適応的な混合処理
- Authors: Changho Hwang, Wei Cui, Yifan Xiong, Ziyue Yang, Ze Liu, Han Hu,
Zilong Wang, Rafael Salas, Jithin Jose, Prabhat Ram, Joe Chau, Peng Cheng,
Fan Yang, Mao Yang, Yongqiang Xiong
- Abstract要約: Mixture-of-Experts (MoE)は、モデルのキャパシティを数兆以上のパラメータに拡張できる、ディープラーニングのための有望なテクニックとして登場した。
動的適応並列処理とパイプライニングを備えたMoEのための高度にスケーラブルなスタック設計および実装であるTutelを提案する。
Tutelは、実行時にアダプティブ並列性スイッチングとアダプティブパイプライニングを提供し、それぞれ1.74xと2.00xの単一MoE層をスピードアップする。
- 参考スコア(独自算出の注目度): 20.036168971435306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, Mixture-of-Experts (MoE) has emerged as a promising
technique for deep learning that can scale the model capacity to trillion-plus
parameters while reducing the computing cost via sparse computation. While MoE
opens a new frontier of exceedingly large models, its implementation over
thousands of GPUs has been limited due to mismatch between the dynamic nature
of MoE and static parallelism/pipelining of the system. We present Tutel, a
highly scalable stack design and implementation for MoE with dynamically
adaptive parallelism and pipelining. Tutel delivers adaptive parallelism
switching and adaptive pipelining at runtime, which achieves up to 1.74x and
2.00x single MoE layer speedup, respectively. We also propose a novel
two-dimensional hierarchical algorithm for MoE communication speedup that
outperforms the previous state-of-the-art up to 20.7x over 2,048 GPUs.
Aggregating all techniques, Tutel finally delivers 4.96x and 5.75x speedup of a
single MoE layer on 16 GPUs and 2,048 GPUs, respectively, over Fairseq: Meta's
Facebook AI Research Sequence-to-Sequence Toolkit (Tutel is now partially
adopted by Fairseq). Tutel source code is available in public:
https://github.com/microsoft/tutel . Our evaluation shows that Tutel
efficiently and effectively runs a real-world MoE-based model named SwinV2-MoE,
built upon Swin Transformer V2, a state-of-the-art computer vision
architecture. On efficiency, Tutel accelerates SwinV2-MoE, achieving up to
1.55x and 2.11x speedup in training and inference over Fairseq, respectively.
On effectiveness, the SwinV2-MoE model achieves superior accuracy in both
pre-training and down-stream computer vision tasks such as COCO object
detection than the counterpart dense model, indicating the readiness of Tutel
for end-to-end real-world model training and inference. SwinV2-MoE is open
sourced in https://github.com/microsoft/Swin-Transformer .
- Abstract(参考訳): 近年、モデルのキャパシティを1兆以上のパラメータにスケールし、分散計算による計算コストを削減できるディープラーニングの有望なテクニックとして、mixed-of-experts(moe)が登場している。
MoEは、非常に大きなモデルの新たなフロンティアを開くが、MoEの動的性質とシステムの静的並列性/パイプライニングとのミスマッチにより、数千のGPUの実装が制限されている。
動的適応並列処理とパイプライニングを備えたMoEのための高度にスケーラブルなスタック設計および実装であるTutelを提案する。
Tutelは、実行時に適応並列性スイッチングと適応パイプライン化を提供し、それぞれ1.74xと2.00xの単一MoE層を高速化する。
また,従来の2,048GPUの20.7倍の性能を持つMoE通信高速化のための新しい2次元階層アルゴリズムを提案する。
すべてのテクニックを集約することで、tutelは最終的に16gpu上の1つのmoeレイヤの4.96倍と5.75倍のスピードアップをfairseq上で実現している。
Tutelのソースコードは、https://github.com/microsoft/tutel.comで公開されている。
評価の結果,tutel は最先端のコンピュータビジョンアーキテクチャである swin transformer v2 を基盤とした実世界の moe ベースのモデル swinv2-moe を効率的かつ効果的に動作させることがわかった。
効率性では、TutelはSwinV2-MoEを加速し、Fairseq上でのトレーニングで最大1.55倍と2.11倍のスピードアップを達成する。
SwinV2-MoEモデルは、COCOオブジェクト検出などの事前学習および下流コンピュータビジョンタスクにおいて、一方の高密度モデルよりも優れた精度を実現し、エンドツーエンドのモデルトレーニングと推論のためのTutelの準備ができていることを示す。
SwinV2-MoEはhttps://github.com/microsoft/Swin-Transformerでオープンソース化されている。
関連論文リスト
- Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer
Learning for Point Cloud Analysis [53.70588957376317]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - JAX-Fluids 2.0: Towards HPC for Differentiable CFD of Compressible
Two-phase Flows [0.0]
JAX-Fluidsは、圧縮可能な単相および二相フロー用に設計されたPythonベースの完全微分可能CFDソルバである。
我々は、GPU(NVIDIA A100グラフィックスカード最大512)とTPU(最大1024 TPU v3コア)のHPCシステム上で効率よくスケールするJAXプリミティブ演算を利用した並列化戦略を導入する。
新しいコードバージョンは、強化された2相フローモデリング機能を提供する。
論文 参考訳(メタデータ) (2024-02-07T19:05:27Z) - MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。
2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。
また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
論文 参考訳(メタデータ) (2023-10-11T17:57:14Z) - Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture
with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。
MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。
Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
論文 参考訳(メタデータ) (2023-05-30T02:24:03Z) - Pipeline MoE: A Flexible MoE Implementation with Pipeline Parallelism [91.9372563527801]
既存のMoEモデルは、膨大な内部ノードとノード間通信オーバーヘッドに悩まされる。
本稿では,新しいMoEアーキテクチャであるPipeline MoE(PPMoE)を提案する。
PPMoEは、テンソル並列を組み込んだ専門家の並列処理を構築し、通信集約型の全対一のディスパッチとコレクションを置き換える。
論文 参考訳(メタデータ) (2023-04-22T14:09:14Z) - FlexMoE: Scaling Large-scale Sparse Pre-trained Model Training via
Dynamic Device Placement [19.639936387834677]
Mixture-of-Experts (MoEs) は、様々なダウンストリームタスクにおいて、優れた事前トレーニングのスケーラビリティを示している。
MoEはデータライフサイクルにおける新たなデータ分析パラダイムになりつつある。
本稿では,動的データフローによる非効率性に対して系統的かつ透過的に対処する新しいDNNトレーニングフレームワークFlexMoEを提案する。
論文 参考訳(メタデータ) (2023-04-08T07:34:26Z) - Slapo: A Schedule Language for Progressive Optimization of Large Deep
Learning Model Training [17.556432199389615]
Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。
SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
論文 参考訳(メタデータ) (2023-02-16T00:34:53Z) - SMILE: Scaling Mixture-of-Experts with Efficient Bi-level Routing [47.11171833082974]
我々は、異種ネットワーク帯域を利用するSMILEを導入し、シングルステップのルーティングをバイレベルルーティングに分割する。
提案手法は, コンバージェンス速度を損なうことなく, コロッサルクリーンクローリングコーパスのプリトレーニングスループットにおいて, スイッチ変換器の2.5倍の高速化が得られることを示す。
論文 参考訳(メタデータ) (2022-12-10T03:44:16Z) - Scaling Distributed Deep Learning Workloads beyond the Memory Capacity
with KARMA [58.040931661693925]
冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。
最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。
我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
論文 参考訳(メタデータ) (2020-08-26T07:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。