論文の概要: Lancet: Accelerating Mixture-of-Experts Training via Whole Graph Computation-Communication Overlapping

• arxiv url: http://arxiv.org/abs/2404.19429v1
• Date: Tue, 30 Apr 2024 10:17:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 14:34:58.881084
• Title: Lancet: Accelerating Mixture-of-Experts Training via Whole Graph Computation-Communication Overlapping
• Title（参考訳）: Lancet: 全グラフ計算によるMixture-of-Expertsトレーニングの高速化
• Authors: Chenyu Jiang, Ye Tian, Zhen Jia, Shuai Zheng, Chuan Wu, Yida Wang,
• Abstract要約: MoEテクニックは、DNNモデルパラメータのサイズを拡大する上で重要な役割を果たす。 既存の手法は、全てを専門家の計算でオーバーラップすることでこの問題を緩和しようとする。 本研究では,より広いトレーニンググラフレベルでのオーバーラップを考慮し,この課題の範囲を広げる。 コンパイラをベースとした最適化により,MoEモデルトレーニングを自動的に強化するシステムであるLancetにこれらの手法を実装した。
• 参考スコア（独自算出の注目度）: 14.435637320909663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Mixture-of-Expert (MoE) technique plays a crucial role in expanding the size of DNN model parameters. However, it faces the challenge of extended all-to-all communication latency during the training process. Existing methods attempt to mitigate this issue by overlapping all-to-all with expert computation. Yet, these methods frequently fall short of achieving sufficient overlap, consequently restricting the potential for performance enhancements. In our study, we extend the scope of this challenge by considering overlap at the broader training graph level. During the forward pass, we enable non-MoE computations to overlap with all-to-all through careful partitioning and pipelining. In the backward pass, we achieve overlap with all-to-all by scheduling gradient weight computations. We implement these techniques in Lancet, a system using compiler-based optimization to automatically enhance MoE model training. Our extensive evaluation reveals that Lancet significantly reduces the time devoted to non-overlapping communication, by as much as 77%. Moreover, it achieves a notable end-to-end speedup of up to 1.3 times when compared to the state-of-the-art solutions.
• Abstract（参考訳）: Mixture-of-Expert(MoE)技術は、DNNモデルパラメータのサイズを拡大する上で重要な役割を果たす。 しかし、トレーニングプロセス中に全通信遅延を拡張するという課題に直面している。 既存の手法は、全てを専門家の計算でオーバーラップすることでこの問題を緩和しようとする。 しかし、これらの手法は十分な重複を達成できず、結果として性能向上の可能性を制限することがしばしばある。 本研究では,より広いトレーニンググラフレベルでのオーバーラップを考慮し,この課題の範囲を広げる。 フォワードパスの間、注意深いパーティショニングとパイプライニングにより、MoE以外の計算とオール・ツー・オールのオーバーラップを可能にする。 後方通過では、勾配重み計算をスケジューリングすることで、全てと重なり合うことができる。 コンパイラをベースとした最適化により,MoEモデルトレーニングを自動的に強化するシステムであるLancetにこれらの手法を実装した。 広範に評価した結果,Lancetは重複しない通信に要する時間を最大77%削減できることがわかった。 さらに、最先端のソリューションに比べて最大1.3倍のスピードアップを実現している。

関連論文リスト

• LocMoE: A Low-Overhead MoE for Large Language Model Training [13.153904674287546]
  本稿では,部分的なノード間通信をノード内通信に変換することで,負荷バランスと局所性を組み合わせた新しいルーティング手法を提案する。 提案されたLocMoEは、古典的なルータと比較して、エポックあたりのトレーニング時間を12.68%削減して22.24%に短縮した。
  論文  参考訳（メタデータ） (2024-01-25T03:36:39Z)
• Exploiting Inter-Layer Expert Affinity for Accelerating Mixture-of-Experts Model Inference [3.217776693788795]
  本稿では,事前学習したMoEモデルの推論を高速化するために,ExFlowと呼ばれる軽量な最適化手法を提案する。 層間エキスパート親和性を利用して, 微調整や精度の低下を伴わずに, 事前学習したMoEモデルに直接適用することができる。 我々のソリューションは、8から64のエキスパートによる最先端のMoE実装を破り、推論スループットを最大2.2倍改善しました。
  論文  参考訳（メタデータ） (2024-01-16T14:16:47Z)
• Fractional Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing [11.403989519949173]
  本研究は,AOI( Age-of-Information)によって測定された計算集約更新の時系列に焦点をあてる。 我々は,AoIのタスク更新とオフロードポリシを分断形式で共同で最適化する方法について検討する。 実験の結果,提案アルゴリズムは,いくつかの非フラクタルベンチマークと比較して平均AoIを57.6%削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T11:13:40Z)
• Diffusion for Natural Image Matting [93.86689168212241]
  DiffMatteは、画像マッチングの課題を克服するために設計されたソリューションである。 まず、DiffMatteはデコーダを複雑な結合されたマッティングネットワーク設計から切り離し、拡散プロセスのイテレーションで1つの軽量デコーダだけを含む。 第2に、均一な時間間隔を持つ自己整合トレーニング戦略を採用し、時間領域全体にわたるトレーニングと推論の間に一貫したノイズサンプリングを確保する。
  論文  参考訳（メタデータ） (2023-12-10T15:28:56Z)
• DeAR: Accelerating Distributed Deep Learning with Fine-Grained All-Reduce Pipelining [22.168137965177284]
  コミュニケーションスケジューリングは、分散トレーニングの加速に有効であることが示されている。 本稿では,全再現プリミティブを2つの連続演算に分解する新しいスケジューリングアルゴリズムであるDeARを提案する。 DeARは最先端ソリューションよりも最大83%,15%のトレーニングスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2023-02-24T04:11:18Z)
• Q-Ensemble for Offline RL: Don't Scale the Ensemble, Scale the Batch Size [58.762959061522736]
  学習速度を適切に調整したミニバッチサイズをスケールすることで、トレーニングプロセスを桁違いに高速化できることを示す。 そこで本研究では,(1)Qアンサンブルの縮小,(2)分配行動の厳格化,(3)収束時間の改善など,ミニバッチサイズを拡大し,学習率を経時的に調整できることを示す。
  論文  参考訳（メタデータ） (2022-11-20T21:48:25Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Straggler-aware Distributed Learning: Communication Computation Latency Trade-off [56.08535873173518]
  ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。 既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。 このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
  論文  参考訳（メタデータ） (2020-04-10T08:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。