Fugu-MT 論文翻訳(概要): One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining

論文の概要: One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining

arxiv url: http://arxiv.org/abs/2606.30634v1
Date: Mon, 29 Jun 2026 17:57:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:16.373629
Title: One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining
Title（参考訳）: 1ステップの勾配遅延は大規模非同期パイプライン並列LLM事前学習の障壁ではない
Abstract要約: パイプライン並列処理はパイプラインバブルを排除し、安定化コストでスループットを最大化します。安定度の下での最適化は、本質的な制限よりも選択に強く依存することを示す。当社の戦略は、同期トレーニングによるパフォーマンスギャップを埋め、大規模な非同期パイプライン並列化の現実的な可能性を強調しています。
参考スコア（独自算出の注目度）: 9.465438386458823
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We provide the first comprehensive empirical analysis showing that while AdamW, the predominant optimizer at the time when PipeDream-2BW was introduced, indeed suffers from severe degradation, recent methods like Muon exhibit strong robustness under a one-step delay. We introduce an optimizer-agnostic Error Feedback-inspired correction to further mitigate delay effects. We provide supporting theoretical analysis demonstrating convergence for Muon with and without this correction. Extensive evaluation on models up to 10B parameters confirms that our strategies bridge the performance gap with synchronous training, highlighting the practical potential of asynchronous pipeline parallelism at scale.
Abstract（参考訳）: しかし、同期実装ではパイプラインバブル中にGPUがアイドル状態に陥り、計算資源を浪費する。非同期パイプライン並列処理は、これらのバブルを排除し、グラディッシュ・ステールネスのコストでスループットを最大化する。非同期スケジュールの中で、PipeDream-2BWは特に魅力的である。元々のPipeDreamスケジュールとは異なり、パイプラインの深さに関わらず、一定の1ステップの勾配遅延を保証する。しかし、固定性の下での最適化は基本的に不安定であるという一般的な信念のため、その採用は依然として限られている。本研究では,1段階の遅延による劣化が本質的な制限ではなく,最適化者の選択に強く依存していることを示す。我々は,PipeDream-2BWが導入された当時,最優先の最適化器であったAdamWが,実際は深刻な劣化に悩まされているのに対して,最近のMuonのような手法は,一段遅れで強靭性を示すことを示す最初の総合的な実証分析を行った。我々は、遅延効果をさらに緩和するために、オプティマイザ非依存のエラーフィードバックにインスパイアされた修正を導入する。我々は,この補正を伴わずともムオンの収束を示す理論的解析を支援する。 10Bパラメータまでのモデルに対する大規模な評価では、当社の戦略が同期トレーニングによるパフォーマンスギャップを橋渡しし、大規模な非同期パイプライン並列化の現実的な可能性を強調しています。

関連論文リスト

Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers [8.286183477962203]
訓練の並列化は規模を拡大するための重要な戦略です一定のステップサイズでASGDの収束は、更新の遅延が大きいため、遅い作業者によって負の影響を受ける。期待の収束を示し、非同期最適化において初めて、高い確率で収束を示す。
論文参考訳（メタデータ） (2026-06-11T12:43:53Z)
Breaking the Bubble: Asynchronous Pipeline Parallel Training with Bounded Weight Inconsistency [5.093144724934585]
PACIは、重み付け、予測、追加パラメータコピー、グローバル同期なしに前方/後方バージョンドリフトをバウンドする、バブルフリーパイプライン方式である。 GPTスタイルの言語モデル事前トレーニングでは、PACIは同期1F1B-flushの安定性と最終的なパープレクシリティにマッチし、同じピークメモリフットプリントを保持し、完全なパイプラインスループットを実現する。これらの結果は、前方/後方の不整合を排除してはいけないことを示しており、明示的に拘束された場合、実質的な効率向上のために安全に取引することができる。
論文参考訳（メタデータ） (2026-06-05T22:33:57Z)
Demystifying Pipeline Parallelism: First Theory for PipeDream [53.657104889705856]
本稿では、PDスタイルの手法に対して、クリーンな非収束性をもたらす固定ブロック-SGD抽象化としてランダム化PipeDream(PD)を導入する。定常PDによって引き起こされる遅延は、$S2 - S/2 + O(1)$ for $S$として増大するので、スタイルリードのコントリビューションは、チューナレート形式で$(2S4)$、同等に$(S4/K)$としてスケールする。
論文参考訳（メタデータ） (2026-06-02T11:14:57Z)
AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training [8.956450951670979]
AMDPは、バックプロパゲーションの前に、各パイプラインの最初のステージを少なくとも2つのミニバッチで処理するように制限する。 GPTモデルとBERTモデルによる実験により、AMDPは収束を保ちながらトレーニングを著しく加速することが示された。
論文参考訳（メタデータ） (2026-05-28T09:25:12Z)
Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation [6.710608163117798]
非同期パイプライン並列処理は、同期実行に固有のパイプラインバブルを排除し、ハードウェア利用を最大化する。この効率向上は勾配安定度によって損なわれ、遅延勾配による即時モデル更新は最適化プロセスにノイズをもたらす。本稿では,アライメント問題を効果的に緩和し,非同期設定における収束を著しく促進することを示す,ベースローテーションの利用を提案する。
論文参考訳（メタデータ） (2026-02-03T13:31:51Z)
AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models [59.7059443712562]
AdaPtisは、適応パイプライン並列性をサポートする大規模言語モデル(LLM)のトレーニングシステムである。大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。
論文参考訳（メタデータ） (2025-09-28T08:05:13Z)
PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文参考訳（メタデータ） (2025-09-27T03:01:48Z)
Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文参考訳（メタデータ） (2025-05-29T19:59:18Z)
Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
論文参考訳（メタデータ） (2025-05-02T08:23:29Z)
Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
論文参考訳（メタデータ） (2024-02-19T03:08:02Z)
Stochastic Optimization with Laggard Data Pipelines [65.20044914532221]
共通最適化手法の「データ抽出」拡張は同期手法よりも優れた性能を示すことを示す。具体的には、ミニバッチによる凸最適化において、データエコーは、最適統計率を維持しながら収束率の曲率に支配される部分の高速化をもたらすことを示す。
論文参考訳（メタデータ） (2020-10-26T14:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。