論文の概要: BSIPipe: Bidirectional Sequence-Level Interleaved Pipeline Parallelism for Long-Sequence Large Language Model Training
- arxiv url: http://arxiv.org/abs/2610.14935v1
- Date: Sat, 10 Oct 2026 14:08:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 03:20:29.579125
- Title: BSIPipe: Bidirectional Sequence-Level Interleaved Pipeline Parallelism for Long-Sequence Large Language Model Training
- Title（参考訳）: BSIPipe: 長期大規模言語モデルトレーニングのための双方向シーケンスレベルインターリーブパイプライン並列処理
- Abstract要約: 双方向シーケンスレベルインターリーブパイプライン並列(BSIPipe)
GPTとLLaMA3の実験により、BSIPipeは平均1.11$times$から1.13$times$のスピードアップを実現している。
- 参考スコア（独自算出の注目度）: 9.859893936091813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pipeline parallelism has become a critical technique for training large language models. To address the throughput limitation of existing sequence-level methods that schedule subsequences unidirectionally, we propose bidirectional sequence-level interleaved pipeline parallelism (BSIPipe), which co-schedules two opposing V-shaped interleaved pipelines at the subsequence level. To bound the activation accumulation from subsequence scaling, BSIPipe introduces a basic-unit concatenation mechanism that keeps activation memory invariant to the subsequence count. To eliminate communication deadlock risk from bidirectional scheduling, BSIPipe employs a communication optimization strategy that combines topology-aware device mapping with communication-computation overlap. In addition, BSIPipe composes with tensor parallelism to overcome the memory limitation of single-dimensional parallelism, neutralizing its bidirectional memory overhead while maintaining throughput. Experiments on GPT and LLaMA3 demonstrate that BSIPipe achieves average speedups of 1.11$\times$ to 1.13$\times$ in long-sequence training over SOTA sequence-level baselines.
- Abstract（参考訳）: パイプライン並列性は、大規模な言語モデルのトレーニングにおいて重要なテクニックとなっている。
サブシーケンスを一方向でスケジュールする既存のシーケンスレベルの手法のスループット制限に対処するため、サブシーケンスレベルでV字型インターリーブパイプラインを2つ共スケジューリングする双方向シーケンスレベルのインターリーブパイプライン並列性(BSIPipe)を提案する。
サブシーケンススケーリングからアクティベーション蓄積をバインドするために、BSIPipeはサブシーケンスカウントに不変なアクティベーションメモリを保持する基本ユニット結合機構を導入した。
双方向スケジューリングから通信デッドロックリスクを排除するため、BSIPipeでは、トポロジ対応デバイスマッピングと通信-計算オーバーラップを組み合わせた通信最適化戦略を採用している。
さらに、BSIPipeはテンソル並列性を利用して1次元並列性のメモリ制限を克服し、スループットを維持しながら双方向メモリオーバーヘッドを中和する。
GPT と LLaMA3 の実験により、BSIPipe は SOTA シーケンスレベルのベースラインよりも長いシーケンストレーニングで 1.11$\times$ から 1.13$\times$ に平均速度アップを達成することを示した。
関連論文リスト
- BASP: Communication-Efficient Batch-Aware Sequence Parallelism for LLM Training [0.48127184936824546]
BASP(Batch-Aware Sequence Parallelism)は、バッチ構造を利用して通信オーバーヘッドを削減するシーケンス並列化手法である。
BASPは、マイクロバッチサイズに応じて分離されたシーケンス並列グループに分割することで、バッチ構造を利用する。
NVIDIA A100クラスタの実験結果によると、BASPはエンドツーエンドのトレーニング時間を最大1.17～1.31倍改善している。
論文 参考訳（メタデータ） (2026-09-02T20:33:23Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - Folding Tensor and Sequence Parallelism for Memory-Efficient Transformer Training & Inference [7.139526063136717]
tensor and sequence parallelism (TSP) は、テンソル並列性とシーケンス並列性を単一のデバイス軸に折り畳む並列実行戦略である。
我々はこの設計を2つの実行時スケジュールで実装する。注意すべきは、シーケンスワイドのキー/値交換による放送パラメータのシャードとコンテキストのランク付けである。
本稿では,TP,SP,TP+SPに対してTSPをベンチマークし,留意点とゲートブロックの実装を理論的に記述する。
論文 参考訳（メタデータ） (2026-04-29T04:44:58Z) - PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。
PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。
この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
論文 参考訳（メタデータ） (2026-02-11T12:39:41Z) - AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。
スパース平均化と非同期更新の両方に対して収束保証を提供します。
大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
論文 参考訳（メタデータ） (2026-01-30T01:24:47Z) - GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。
GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
論文 参考訳（メタデータ） (2025-11-28T07:26:45Z) - TawPipe: Topology-Aware Weight Pipeline Parallelism for Accelerating Long-Context Large Models Training [9.859893936091813]
大規模言語モデル(LLM)のトレーニングは、デバイスメモリの制限とデバイス間通信のコストによって、基本的に制限されている。
分散クラスタにおける階層的帯域幅を利用して通信効率を向上させるTawPipeを提案する。
論文 参考訳（メタデータ） (2025-11-12T21:06:37Z) - HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism [14.067070576474086]
トランスシークエンスの長さが大きくなるにつれて、既存のパイプライン並列処理は2次注意計算とかなりのメモリオーバーヘッドのため、最適以下の性能を実現する。
長周期変圧器訓練のための新しいパイプライン並列性であるHelixPipeを提案する。
これは、異なるパイプラインステージ間で異なるマイクロバッチのアテンション計算を並列にスケジュールし、パイプラインバブルを減少させる、アテンション並列パーティションを導入している。
メモリ使用量のバランスと、フラグメンテーションによる重複通信のバランスをとるために、2倍の第一段階のマイクロバッチスケジュールを採用している。
論文 参考訳（メタデータ） (2025-07-01T03:11:18Z) - BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training [5.7294516069851475]
BitPipeは、大規模なモデルのトレーニングを加速するための双方向のインターリーブパイプライン並列処理である。
最新の同期手法と比較して,BitPipeはGPTスタイルとBERTスタイルのモデルのトレーニングスループットを1.05x-1.28倍向上することを示す。
論文 参考訳（メタデータ） (2024-10-25T08:08:51Z) - Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。
メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
論文 参考訳（メタデータ） (2023-05-30T19:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。