論文の概要: ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs

• arxiv url: http://arxiv.org/abs/2502.21231v1
• Date: Fri, 28 Feb 2025 17:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:55.330929
• Title: ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs
• Title（参考訳）: ByteScale: 12,000以上のGPU上での2048Kコンテキスト長によるLLMトレーニングの効率的なスケーリング
• Authors: Hao Ge, Junda Feng, Qi Huang, Fangcheng Fu, Xiaonan Nie, Lei Zuo, Haibin Lin, Bin Cui, Xin Liu,
• Abstract要約: ByteScaleは、長いシーケンスと短いシーケンスの大規模な混合トレーニングのための効率的なフレームワークである。 ByteScaleはHybrid Data Parallelism(HDP)をベースにしている。 実験の結果,ByteScaleは最先端のトレーニングシステムよりも最大7.89倍優れていた。
• 参考スコア（独自算出の注目度）: 22.542224045868117
• License:
• Abstract: Scaling long-context ability is essential for Large Language Models (LLMs). To amortize the memory consumption across multiple devices in long-context training, inter-data partitioning (a.k.a. Data Parallelism) and intra-data partitioning (a.k.a. Context Parallelism) are commonly used. Current training frameworks predominantly treat the two techniques as orthogonal, and establish static communication groups to organize the devices as a static mesh (e.g., a 2D mesh). However, the sequences for LLM training typically vary in lengths, no matter for texts, multi-modalities or reinforcement learning. The mismatch between data heterogeneity and static mesh causes redundant communication and imbalanced computation, degrading the training efficiency. In this work, we introduce ByteScale, an efficient, flexible, and scalable LLM training framework for large-scale mixed training of long and short sequences. The core of ByteScale is a novel parallelism strategy, namely Hybrid Data Parallelism (HDP), which unifies the inter- and intra-data partitioning with a dynamic mesh design. In particular, we build a communication optimizer, which eliminates the redundant communication for short sequences by data-aware sharding and dynamic communication, and further compresses the communication cost for long sequences by selective offloading. Besides, we also develop a balance scheduler to mitigate the imbalanced computation by parallelism-aware data assignment. We evaluate ByteScale with the model sizes ranging from 7B to 141B, context lengths from 256K to 2048K, on a production cluster with more than 12,000 GPUs. Experiment results show that ByteScale outperforms the state-of-the-art training system by up to 7.89x.
• Abstract（参考訳）: LLM(Large Language Models)には、長期的コンテキスト能力のスケーリングが不可欠である。 長期学習において複数のデバイスにまたがるメモリ消費を記憶するために、データ間パーティショニング(データ並列化)とデータ内パーティショニング(コンテキスト並列化)が一般的である。 現在のトレーニングフレームワークは、主に2つのテクニックを直交として扱い、静的な通信グループを確立して、デバイスを静的なメッシュ(例:2Dメッシュ)として組織化する。 しかし、LLMトレーニングのシーケンスは通常、テキスト、マルチモダリティ、強化学習など、長さによって異なる。 データの不均一性と静的メッシュのミスマッチは、冗長な通信と不均衡な計算を引き起こし、トレーニング効率を低下させる。 本研究では,長いシーケンスと短いシーケンスの大規模混合トレーニングを行うための,効率的な,柔軟な,スケーラブルなLLMトレーニングフレームワークであるByteScaleを紹介する。 ByteScaleの中核は、動的メッシュ設計でデータ間パーティショニングとデータ間パーティショニングを統合する、新たな並列処理戦略であるHybrid Data Parallelism(HDP)である。 特に,データ認識シャーディングと動的通信により短周期の冗長な通信を排除し,選択オフロードにより長周期の通信コストを圧縮する通信オプティマイザを構築する。 また、並列性を考慮したデータ割り当てによる不均衡計算を緩和するバランススケジューラも開発している。 12,000GPU以上のプロダクションクラスタ上で, ByteScaleを7Bから141Bまでのモデルサイズ, コンテキスト長256Kから2048Kのモデルサイズで評価した。 実験の結果,ByteScaleは最先端のトレーニングシステムよりも最大7.89倍優れていた。

関連論文リスト

• Hardware Scaling Trends and Diminishing Returns in Large-Scale Distributed Training [29.44470664154098]
  ハードウェア構成と並列化戦略の注意深い検討が,モデルサイズ,トレーニングデータ,総計算の効果的なスケーリングに重要であることを示す。 我々は、モデルサイズ、ハードウェア構成、分散並列化戦略における大規模LLMトレーニングワークロードの性能に関する広範な実証的研究を行う。
  論文  参考訳（メタデータ） (2024-11-20T06:05:11Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models [34.74093040678323]
  我々は,高度に効率的かつスケーラブルなLDMトレーニングを実現するための,新しい,ポータブルで効果的な方法論であるDeepSpeed-Ulyssesを紹介した。 DeepSpeed-Ulyssesは、そのコアでシーケンス次元に沿って入力データを分割し、効率的なオール・ツー・オールの集合通信を用いて注意を払っている。 実験の結果、DeepSpeed-Ulyssesは既存のSOTAベースラインの4倍のシーケンス長で2.5倍高速であることがわかった。
  論文  参考訳（メタデータ） (2023-09-25T20:15:57Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Does compressing activations help model parallel training? [64.59298055364336]
  モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。 圧縮アルゴリズムの3つの共通クラスを実装し,評価する。 我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
  論文  参考訳（メタデータ） (2023-01-06T18:58:09Z)
• Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training [23.633810934134065]
  Colossal-AIは、大規模モデルで最大2.76回のトレーニングスピードアップを達成することができる。 システムは、データ、パイプライン、テンソル、シーケンス並列化などの並列トレーニングメソッドをサポートする。
  論文  参考訳（メタデータ） (2021-10-28T04:45:55Z)
• Layered gradient accumulation and modular pipeline parallelism: fast and efficient training of large language models [0.0]
  分散トレーニングのさまざまな構成について、可能な限り最短のトレーニング時間を分析します。 本稿では,最短トレーニング時間を半減する2つの新しい手法,テキスト層勾配蓄積法とテキストモジュールパイプライン並列化法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T19:21:49Z)
• Parallel Training of Deep Networks with Local Updates [84.30918922367442]
  ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。 我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
  論文  参考訳（メタデータ） (2020-12-07T16:38:45Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。