論文の概要: HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism

• arxiv url: http://arxiv.org/abs/2507.00394v1
• Date: Tue, 01 Jul 2025 03:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.24835
• Title: HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
• Title（参考訳）: HelixPipe: 並列パイプライン並列性を考慮した長周期変圧器の効率的な分散トレーニング
• Authors: Geng Zhang, Shenggan Cheng, Xuanlei Zhao, Ziming Liu, Yang You,
• Abstract要約: トランスシークエンスの長さが大きくなるにつれて、既存のパイプライン並列処理は2次注意計算とかなりのメモリオーバーヘッドのため、最適以下の性能を実現する。 長周期変圧器訓練のための新しいパイプライン並列性であるHelixPipeを提案する。 これは、異なるパイプラインステージ間で異なるマイクロバッチのアテンション計算を並列にスケジュールし、パイプラインバブルを減少させる、アテンション並列パーティションを導入している。 メモリ使用量のバランスと、フラグメンテーションによる重複通信のバランスをとるために、2倍の第一段階のマイクロバッチスケジュールを採用している。
• 参考スコア（独自算出の注目度）: 14.067070576474086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As transformer sequence lengths grow, existing pipeline parallelisms incur suboptimal performance due to the quadratic attention computation and the substantial memory overhead. To relieve these challenges, we propose HelixPipe, a novel pipeline parallelism for long sequence transformer training. First, HelixPipe introduces attention parallel partition, which schedules attention computations of different micro batches across different pipeline stages in parallel, reducing pipeline bubbles. Second, it employs a two-fold first-in-last-out micro batch schedule to balance memory usage and overlap communication with computation. Additionally, HelixPipe utilizes recomputation without attention and chunked MLP to mitigate fragmentation and enable longer sequences. Experiments demonstrate that HelixPipe gains increasing advantages with longer sequence lengths, and outperforms existing methods in throughput and scalability across varying pipeline sizes, model sizes, and cluster configurations. Notably, it achieves a 26\% speedup over baseline methods when training a 7B model with 128k sequence length on 64 H20 GPUs. Code is available at https://github.com/code-tunnel/Megatron-LM/tree/dev.
• Abstract（参考訳）: トランスシークエンスの長さが大きくなるにつれて、既存のパイプライン並列処理は2次注意計算とかなりのメモリオーバーヘッドのため、最適以下の性能を実現する。 これらの課題を解消するため、長周期トランスフォーマートレーニングのための新しいパイプライン並列化であるHelixPipeを提案する。 HelixPipeはまず、注目並列パーティションを導入し、異なるパイプラインステージ間で異なるマイクロバッチの注意計算を並列にスケジュールし、パイプラインバブルを減らす。 第二に、メモリ使用量と計算との重複通信のバランスをとるために、2倍のマイクロバッチスケジュールを使用する。 さらに、HelixPipeは注意を払わずに再計算し、断片化を緩和し、長いシーケンスを可能にする。 実験によると、HelixPipeは長いシーケンス長でメリットを増し、さまざまなパイプラインサイズ、モデルサイズ、クラスタ構成にまたがるスループットとスケーラビリティにおいて、既存のメソッドよりも優れています。 特に、64 H20 GPU上で128kのシーケンス長を持つ7Bモデルをトレーニングする際に、ベースラインメソッドよりも26倍のスピードアップを達成する。 コードはhttps://github.com/code-tunnel/Megatron-LM/tree/devで入手できる。

関連論文リスト

• SlimPipe: Memory-Thrifty and Efficient Pipeline Parallelism for Long-Context LLM Training [21.93724007255793]
  SlimPipeは、きめ細かいパイプライン並列化に対する新しいアプローチである。 蓄積した活性化をいくつかのマイクロバッチから1つに減らし、いくつかのスライスに分割する。 ほぼゼロのメモリオーバーヘッドを達成し、(2)パイプラインバブルを同時に最小化する。
  論文  参考訳（メタデータ） (2025-04-20T07:33:33Z)
• BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training [5.7294516069851475]
  BitPipeは、大規模なモデルのトレーニングを加速するための双方向のインターリーブパイプライン並列処理である。 最新の同期手法と比較して,BitPipeはGPTスタイルとBERTスタイルのモデルのトレーニングスループットを1.05x-1.28倍向上することを示す。
  論文  参考訳（メタデータ） (2024-10-25T08:08:51Z)
• Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training [78.93900796545523]
  ミニシーケンス変換器(Mini-Sequence Transformer, MsT)は、非常に長いシーケンスを持つ高速かつ高精度なLLMトレーニング手法である。 MsTは入力シーケンスを分割し、中間メモリ使用量を減らすためにミニシーケンスを反復的に処理する。 huggingfaceライブラリと統合され、MsTはQwen、Mistral、Gemma-2の最大コンテキスト長を12-24倍に拡張した。
  論文  参考訳（メタデータ） (2024-07-22T01:52:30Z)
• Zero Bubble Pipeline Parallelism [6.7021820542657045]
  実験により,本手法は1F1Bのスループットを23%まで向上させることを示した。 パイプライン並列化の真の可能性を活用する上で、我々の結果は大きな一歩だと信じています。
  論文  参考訳（メタデータ） (2023-11-30T10:40:34Z)
• DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models [34.74093040678323]
  我々は,高度に効率的かつスケーラブルなLDMトレーニングを実現するための,新しい,ポータブルで効果的な方法論であるDeepSpeed-Ulyssesを紹介した。 DeepSpeed-Ulyssesは、そのコアでシーケンス次元に沿って入力データを分割し、効率的なオール・ツー・オールの集合通信を用いて注意を払っている。 実験の結果、DeepSpeed-Ulyssesは既存のSOTAベースラインの4倍のシーケンス長で2.5倍高速であることがわかった。
  論文  参考訳（メタデータ） (2023-09-25T20:15:57Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。