論文の概要: A Readiness-Driven Runtime for Pipeline-Parallel Training under Runtime Variability
- arxiv url: http://arxiv.org/abs/2605.18750v1
- Date: Mon, 18 May 2026 17:59:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:50.232767
- Title: A Readiness-Driven Runtime for Pipeline-Parallel Training under Runtime Variability
- Title（参考訳）: 実行時変数下でのパイプライン並列トレーニングのための準備作業駆動ランタイム
- Authors: Ruitao Liu, Xinyang Tian, Shuo Chen, Tingrui Zhang, Guang Yang, Alan Zhao, Wei Xu,
- Abstract要約: パイプラインは大規模なモデルのトレーニングをスケールするための重要なテクニックだが、現代的なワークロードでは、計算と通信におけるランタイムの多様性が示される。
実行時並列トレーニングであるRRFP(Readiness-First Pipeline)を紹介します。
R RFPはスケジュールが実行時にどのように消費されるかを変える: スケジュールをステージが続くのを待つシーケンスとして扱う代わりに、現在準備されている作業の非バインディングヒント順序として扱う。
- 参考スコア（独自算出の注目度）: 12.676135710714812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pipeline parallelism is a key technique for scaling large-model training, but modern workloads exhibit runtime variability in computation and communication. Existing pipeline systems typically consume static, profiled, or adaptively generated schedules as pre-committed execution orders. When realized task readiness diverges from the pre-committed order, stages may wait for not-yet-ready work even though other executable work is available, creating stage misalignment, idle bubbles, and reduced utilization. We present Runtime-Readiness-First Pipeline (RRFP), a readiness-driven runtime for pipeline-parallel training. RRFP changes how schedules are consumed at runtime: instead of treating a schedule as a sequence that stages must wait to follow, it treats the schedule as a non-binding hint order for ranking currently ready work. To support this model, RRFP combines message-driven asynchronous communication, lightweight tensor-parallel coordination for collective consistency, and ready-set arbitration for low-overhead dispatch. We implement RRFP in a Megatron-based training framework and evaluate it on language-only and multimodal workloads at up to 128 GPUs. RRFP improves over fixed-order pipeline baselines across all settings. Using the BFW hint, RRFP achieves up to 1.77$\times$ speedup on language-only workloads and up to 2.77$\times$ on multimodal workloads. In cross-framework comparisons, RRFP with the default BF hint outperforms the faster available external system by up to 1.84$\times$ while preserving training correctness.
- Abstract（参考訳）: パイプライン並列性は、大規模モデルのトレーニングをスケールするための重要なテクニックだが、現代のワークロードは、計算と通信におけるランタイムの多様性を示している。
既存のパイプラインシステムは、通常、静的、プロファイル、あるいは適応的に生成されたスケジュールをコミットされた実行順序として消費する。
完了したタスク準備性は、事前にコミットされた順序から分岐すると、他の実行可能な作業が利用可能であっても、未完了の作業を待つことができ、段階的ミスアライメント、アイドルバブル、利用量の削減が図られる。
パイプライン並列トレーニングのための準備駆動型ランタイムであるRuntime-Readiness-First Pipeline(RRFP)を紹介します。
RRFPはスケジュールが実行時にどのように消費されるかを変える: スケジュールをステージが従わなければならないシーケンスとして扱う代わりに、現在準備されている作業の非バインディングヒント順序として扱う。
このモデルをサポートするために、RFPはメッセージ駆動の非同期通信、集合一貫性のための軽量テンソル並列調整、低オーバーヘッドディスパッチのための準備整調を組み合わせた。
我々は,MegatronベースのトレーニングフレームワークにRFPを実装し,言語のみのワークロードとマルチモーダルワークロードで最大128GPUで評価する。
RRFPは、すべての設定で固定順序パイプラインのベースラインを改善する。
BFWヒントを使用して、RFPは言語のみのワークロードで最大1.77$\times$、マルチモーダルワークロードで最大2.77$\times$を達成する。
クロスフレーム比較では、デフォルトのBFヒントによるRFPは、トレーニングの正確さを維持しながら、より高速な外部システムの性能を最大1.84$\times$で向上させる。
関連論文リスト
- DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors [57.944744187489185]
外部修正をネイティブなアンマスクに置き換えるDiscreteRTCを提案する。
DiscreteRTCは、非同期のインペインティングのために0行のコードを実装するのが簡単で、スクラッチから生成したアクションに比べてわずか0.7倍の計算速度で推論が高速で、フローベースのRTCに比べて実世界の動的ピックタスクの成功率が50%向上した。
論文 参考訳（メタデータ） (2026-04-27T23:04:03Z) - AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。
スパース平均化と非同期更新の両方に対して収束保証を提供します。
大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
論文 参考訳（メタデータ） (2026-01-30T01:24:47Z) - Revisiting Parameter Server in LLM Post-Training [16.048510673797523]
我々は、PSをFSDP(Fully Sharded Data Parallel)に適応させる textbf On-Demand Communication (ODC) を提案する。
FSDPと比較すると、ODCは同期障壁を1層1層から1層1層に縮小する。
ODCはデバイス利用とトレーニングのスループットを継続的に改善し、標準FSDPよりも最大36%のスピードアップを実現している。
論文 参考訳（メタデータ） (2026-01-27T08:44:46Z) - AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models [59.7059443712562]
AdaPtisは、適応パイプライン並列性をサポートする大規模言語モデル(LLM)のトレーニングシステムである。
大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。
論文 参考訳（メタデータ） (2025-09-28T08:05:13Z) - Data-Centric Elastic Pipeline Parallelism for Efficient Long-Context LLM Training [40.67232484556671]
Elastic Pipeline Parallelism (EPP)は、トークンレベルのPPとバッチレベルのPPをオーケストレーションして、リソースとワークロードの不均一性に適応する。
InfiniPipeは最先端システムの1.69倍の高速化を実現している。
論文 参考訳（メタデータ） (2025-09-25T15:01:25Z) - Hierarchical Balance Packing: Towards Efficient Supervised Fine-tuning for Long-Context LLM [49.2709992932292]
長期コンテキスト大規模言語モデル(LLM)のトレーニングは、長期コンテキストと短コンテキストデータによるハイブリッドトレーニングが、ワークロードの不均衡につながることが多いため、難しい。
既存の作業では、主にデータパッキングを使用してこの問題を軽減するが、不均衡な注意計算や通信オーバーヘッドの無駄を考慮できない。
本稿では,これらの非効率性に対処する新しいバッチ構築法とトレーニングレシピを設計する階層的バランスパッキング(HBP)を提案する。
論文 参考訳（メタデータ） (2025-03-10T10:52:50Z) - SkipPipe: Partial and Reordered Pipelining Framework for Training LLMs in Heterogeneous Networks [0.1638581561083717]
SkipPipeは、大規模言語モデルのエンドツーエンドトレーニング時間を短縮する部分的なパイプラインフレームワークである。
その結果、SkipPipeはフルパイプラインと比較してトレーニング時間を最大55%削減できることがわかった。
論文 参考訳（メタデータ） (2025-02-27T09:34:23Z) - Scaling Deep Learning Training with MPMD Pipeline Parallelism [0.5817641705019472]
JaxPPは、柔軟なパイプライン並列性を備えた大規模ディープラーニングモデルのトレーニングを効率的にスケールアップするシステムである。
我々は,勾配蓄積のためのユーザ定義パイプラインスケジュールの実装を可能にする,シームレスなプログラミングモデルを導入する。
JaxPPは、パイプラインステージに対応するタスクをノードのクラスタ上に分散し、それら間の通信を自動的に推論する。
論文 参考訳（メタデータ） (2024-12-18T22:15:11Z) - TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale
Language Models [60.23234205219347]
TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。
TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
論文 参考訳（メタデータ） (2021-02-16T07:34:32Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳（メタデータ） (2020-12-14T12:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。