論文の概要: Accelerating Large Language Model Training with 4D Parallelism and Memory Consumption Estimator

• arxiv url: http://arxiv.org/abs/2411.06465v1
• Date: Sun, 10 Nov 2024 13:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:07:37.066060
• Title: Accelerating Large Language Model Training with 4D Parallelism and Memory Consumption Estimator
• Title（参考訳）: 4次元並列性とメモリ消費推定器を用いた大規模言語モデル学習の高速化
• Authors: Kazuki Fujii, Kohei Watanabe, Rio Yokota,
• Abstract要約: 大規模言語モデル(LLM)トレーニングでは、並列性(TP)、パイプライン並列性(PP)、データ並列性(DP)など、いくつかの並列化戦略が採用されている。 Llamaアーキテクチャにおける4次元並列トレーニング(DP, TP, PP, CP)のパラメータ, 勾配, 状態, アクティベーションによって消費されるメモリの正確な計算式を提供する。 結果は、推定メモリ使用量が利用可能なGPUメモリの80%未満である場合、トレーニングはメモリ外エラーに遭遇しないことを示している。
• 参考スコア（独自算出の注目度）: 4.953653137620666
• License:
• Abstract: In large language model (LLM) training, several parallelization strategies, including Tensor Parallelism (TP), Pipeline Parallelism (PP), Data Parallelism (DP), as well as Sequence Parallelism (SP) and Context Parallelism (CP), are employed to distribute model parameters, activations, and optimizer states across devices. Identifying the optimal parallelization configuration for each environment while avoiding GPU memory overflow remains a challenging task. In this study, we provide precise formulas to estimate the memory consumed by parameters, gradients, optimizer states, and activations for 4D parallel training (DP, TP, PP, CP) in the Llama architecture. We conducted 454 experiments on A100 and H100 GPUs, incorporating often neglected factors such as temporary buffers and memory fragmentation into our analysis. Results indicate that when the estimated memory usage is below 80\% of the available GPU memory, the training never encounters out-of-memory errors. This simple yet effective formula allows us to identify parallelization configurations that could lead to memory overflow in advance, significantly reducing the configuration search space. Additionally, through a comprehensive exploration of optimal configurations in 4D parallelism, our analysis of the 454 experimental results provides empirical insights into optimal 4D parallelism configurations.
• Abstract（参考訳）: 大規模言語モデル(LLM)トレーニングでは、テンソル並列(TP)、パイプライン並列(PP)、データ並列(DP)、シーケンス並列(SP)、コンテキスト並列(CP)といった並列化戦略が、デバイス間でモデルパラメータ、アクティベーション、オプティマイザ状態の分散に使用されている。 GPUメモリのオーバーフローを回避しながら、各環境の最適な並列化設定を特定することは、依然として難しい課題である。 本研究では,Llamaアーキテクチャにおける4次元並列トレーニング(DP, TP, PP, CP)のパラメータ,勾配,オプティマイザ状態,アクティベーションによって消費されるメモリの正確な計算式を提供する。 我々はA100とH100のGPUで454の実験を行い、その分析に一時バッファやメモリ断片化などの無視された要素を取り入れた。 結果は、推定メモリ使用量が利用可能なGPUメモリの80%以下である場合、トレーニングはメモリ外エラーに遭遇しないことを示している。 この単純で効果的な公式により、メモリオーバーフローにつながる並列化構成を事前に特定することができ、構成検索スペースを大幅に削減できる。 さらに、4D並列性における最適構成の包括的探索を通じて、454の実験結果の解析により、最適4D並列性の構成に関する実証的な洞察が得られる。

関連論文リスト

• Deep Optimizer States: Towards Scalable Training of Transformer Models Using Interleaved Offloading [2.8231000588510757]
  トランスフォーマーと大規模言語モデル(LLM)は、すべてのドメインで急速に採用されている。 変圧器の訓練は非常に高価で、しばしば記憶壁にぶつかる」 本稿では,LLMをCPUまたはGPU上で更新フェーズをスケジュールしたサブグループに分割する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-26T00:43:59Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Integrated Hardware Architecture and Device Placement Search [7.620610652090732]
  ディープラーニングトレーニングの分散実行には、ハードウェアアクセラレータアーキテクチャとデバイス配置戦略との動的相互作用が含まれる。 これは、最適なアーキテクチャとデバイス配置戦略を決定するための協調最適化を探求する最初の試みである。 提案手法は,最先端のTPUv4とSpotlightアクセラレーター検索フレームワークと比較して,大規模言語モデルにおいて高いスループットを実現する。
  論文  参考訳（メタデータ） (2024-07-18T04:02:35Z)
• Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
  大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。 本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
  論文  参考訳（メタデータ） (2024-05-28T11:59:44Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• A 4D Hybrid Algorithm to Scale Parallel Training to Thousands of GPUs [1.7481226034111275]
  本稿では,並列訓練における通信を最適化するための4次元(4次元)アプローチを提案する。 AxoNNは最先端のフレームワークであるMegatron-LMを26%上回っている。 理論上のピークFLOP/sの57%、合計182 PFLOP/sを達成している。
  論文  参考訳（メタデータ） (2023-05-22T22:41:49Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
  TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-16T07:34:32Z)
• Parallel Training of Deep Networks with Local Updates [84.30918922367442]
  ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。 我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
  論文  参考訳（メタデータ） (2020-12-07T16:38:45Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。