論文の概要: AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models

• arxiv url: http://arxiv.org/abs/2509.23722v1
• Date: Sun, 28 Sep 2025 08:05:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.399325
• Title: AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models
• Title（参考訳）: AdaPtis: 異種モデル上での適応的なパイプライン並列化によるパイプラインバブル低減
• Authors: Jihu Guo, Tenghui Ma, Wei Gao, Peng Sun, Jiaxing Li, Xun Chen, Yuyang Jin, Dahua Lin,
• Abstract要約: AdaPtisは、適応パイプライン並列性をサポートする大規模言語モデル(LLM)のトレーニングシステムである。 大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 59.7059443712562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pipeline parallelism is widely used to train large language models (LLMs). However, increasing heterogeneity in model architectures exacerbates pipeline bubbles, thereby reducing training efficiency. Existing approaches overlook the co-optimization of model partition, model placement, and workload scheduling, resulting in limited efficiency improvement or even performance degradation. To respond, we propose AdaPtis, an LLM training system that supports adaptive pipeline parallelism. First, we develop a pipeline performance model to accurately estimate training throughput. Second, AdaPtis jointly optimizes model partition, model placement, and workload scheduling policies guided by this performance model. Third, we design a unified pipeline executor that efficiently supports the execution of diverse pipeline strategies. Extensive experiments show that AdaPtis achieves an average speedup of 1.42x (up to 2.14x) over Megatron-LM I-1F1B across various LLM architectures and scales.
• Abstract（参考訳）: パイプライン並列性は、大きな言語モデル(LLM)のトレーニングに広く使用されている。 しかし、モデルアーキテクチャの不均一性の増加はパイプラインバブルを悪化させ、トレーニング効率を低下させる。 既存のアプローチでは、モデルパーティション、モデル配置、ワークロードスケジューリングの共最適化を見落としている。 そこで本研究では,適応的なパイプライン並列処理をサポートするLLMトレーニングシステムであるAdaPtisを提案する。 まず,トレーニングスループットを正確に推定するパイプライン性能モデルを開発する。 第2に、AdaPtisはモデルパーティション、モデル配置、およびこのパフォーマンスモデルによってガイドされるワークロードスケジューリングポリシーを共同で最適化する。 第3に,多様なパイプライン戦略の実行を効率的にサポートする統合パイプラインエグゼキュータを設計する。 大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。

関連論文リスト

• PipeWeaver: Addressing Data Dynamicity in Large Multimodal Model Training with Dynamic Interleaved Pipeline [39.56060323129395]
  PipeWeaverは大規模マルチモーダルモデル(LMM)のための動的パイプラインスケジューリングフレームワークである 適応型モダリティ対応パーティショニングと効率的なパイプラインスケジュール探索という,LMMトレーニングの課題に対処する。 実験の結果、PipeWeaverは最先端システムと比較してLMMトレーニングの効率を最大97.3%向上できることがわかった。
  論文  参考訳（メタデータ） (2025-04-19T02:30:11Z)
• IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining [50.53912352342753]
  本稿では,モデルトレーニング,プルーニング,リカバリを併用した拡張・プルンパイプラインを提案する。 我々は2.8Bモデルから1.3Bへのプレトレーニングにおいて最大2Tトークンによる圧縮実験を行った。 これは、拡大されたモデルの事前学習のトークン効率に関する洞察を提供するだけでなく、刈り取られたモデルの優れた性能を達成するための統合されたアプローチを示す。
  論文  参考訳（メタデータ） (2025-03-07T20:35:31Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Pipeline MoE: A Flexible MoE Implementation with Pipeline Parallelism [91.9372563527801]
  既存のMoEモデルは、膨大な内部ノードとノード間通信オーバーヘッドに悩まされる。 本稿では,新しいMoEアーキテクチャであるPipeline MoE(PPMoE)を提案する。 PPMoEは、テンソル並列を組み込んだ専門家の並列処理を構築し、通信集約型の全対一のディスパッチとコレクションを置き換える。
  論文  参考訳（メタデータ） (2023-04-22T14:09:14Z)
• TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
  TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-16T07:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。