論文の概要: Breaking the Bubble: Asynchronous Pipeline Parallel Training with Bounded Weight Inconsistency
- arxiv url: http://arxiv.org/abs/2606.07881v1
- Date: Fri, 05 Jun 2026 22:33:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.503927
- Title: Breaking the Bubble: Asynchronous Pipeline Parallel Training with Bounded Weight Inconsistency
- Title（参考訳）: バブルを破る - バウンドウェイト不整合による非同期パイプライン並列トレーニング
- Authors: Itay Elam, Eliron Rahimi, Avi Mendelson, Chaim Baskin,
- Abstract要約: PACIは、重み付け、予測、追加パラメータコピー、グローバル同期なしに前方/後方バージョンドリフトをバウンドする、バブルフリーパイプライン方式である。
GPTスタイルの言語モデル事前トレーニングでは、PACIは同期1F1B-flushの安定性と最終的なパープレクシリティにマッチし、同じピークメモリフットプリントを保持し、完全なパイプラインスループットを実現する。
これらの結果は、前方/後方の不整合を排除してはいけないことを示しており、明示的に拘束された場合、実質的な効率向上のために安全に取引することができる。
- 参考スコア（独自算出の注目度）: 5.093144724934585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pipeline parallelism is essential for training large neural networks, but existing schedules trade off throughput, memory, and optimization consistency. Synchronous pipelines preserve forward/backward weight consistency but suffer from bubbles; asynchronous pipelines remove bubbles but introduce weight-version mismatch, typically requiring weight stashing, prediction, or correction mechanisms. We introduce PACI (Pipeline Asynchronous training with Controlled Inconsistency), a bubble-free asynchronous pipeline method that bounds forward/backward version drift without weight stashing, prediction, additional parameter copies, or global synchronization. The key idea is to use local gradient accumulation as a version-control mechanism: by slowing parameter-version evolution relative to pipeline delay, PACI limits the number of optimizer updates crossed by any micro-batch while preserving steady-state utilization. In GPT-style language-model pretraining, PACI matches the stability and final perplexity of synchronous 1F1B-flush, retains the same peak memory footprint, achieves fully utilized pipeline throughput, and improves training time-to-accuracy by up to $1.69\times$ over the fastest flush baseline. These results show that forward/backward inconsistency need not be eliminated: when explicitly bounded, it can be safely traded for substantial efficiency gains.
- Abstract（参考訳）: パイプライン並列処理は大規模なニューラルネットワークのトレーニングには不可欠だが、既存のスケジュールではスループット、メモリ、最適化の一貫性がトレードオフされている。
非同期パイプラインはバブルを除去するが、重み付け、予測、修正のメカニズムを必要とする重み付けミスマッチを導入する。
PACI(Pipeline Asynchronous training with Controlled Inconsistency)は,重み付けや予測,パラメータの追加,あるいはグローバル同期を伴わずに,前方/後方バージョンドリフトをバウンドする,バブルフリーな非同期パイプライン手法である。
パイプライン遅延に対するパラメータ変換の進化を遅くすることで、PACIは安定した状態利用を維持しながら、任意のマイクロバッチによって渡されるオプティマイザ更新数を制限します。
GPTスタイルの言語モデル事前トレーニングでは、PACIは同期1F1Bフローシュの安定性と最終的なパープレクシリティにマッチし、同じピークメモリフットプリントを保持し、完全に活用されたパイプラインスループットを達成し、最速のフラッシュベースラインに対して最大1.69\times$でトレーニング時間と精度を改善する。
これらの結果は、前方/後方の不整合を排除してはいけないことを示しており、明示的に拘束された場合、実質的な効率向上のために安全に取引することができる。
関連論文リスト
- Demystifying Pipeline Parallelism: First Theory for PipeDream [53.657104889705856]
本稿では、PDスタイルの手法に対して、クリーンな非収束性をもたらす固定ブロック-SGD抽象化としてランダム化PipeDream(PD)を導入する。
定常PDによって引き起こされる遅延は、$S2 - S/2 + O(1)$ for $S$として増大するので、スタイルリードのコントリビューションは、チューナレート形式で$(2S4)$、同等に$(S4/K)$としてスケールする。
論文 参考訳（メタデータ） (2026-06-02T11:14:57Z) - AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training [8.956450951670979]
AMDPは、バックプロパゲーションの前に、各パイプラインの最初のステージを少なくとも2つのミニバッチで処理するように制限する。
GPTモデルとBERTモデルによる実験により、AMDPは収束を保ちながらトレーニングを著しく加速することが示された。
論文 参考訳（メタデータ） (2026-05-28T09:25:12Z) - SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。
重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。
実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
論文 参考訳（メタデータ） (2026-03-03T23:51:10Z) - TimelyFreeze: Adaptive Parameter Freezing Mechanism for Pipeline Parallelism [9.595296799577499]
本稿では,パイプラインスケジュールを有向非巡回グラフとしてモデル化し,最適凍結比を求める線形プログラムを解くTimelyFreezeを提案する。
実験の結果、TimelyFreezeはLLaMA-8Bで最大40%のトレーニングスループットを同等の精度で達成している。
論文 参考訳（メタデータ） (2026-02-05T15:24:11Z) - Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation [6.710608163117798]
非同期パイプライン並列処理は、同期実行に固有のパイプラインバブルを排除し、ハードウェア利用を最大化する。
この効率向上は勾配安定度によって損なわれ、遅延勾配による即時モデル更新は最適化プロセスにノイズをもたらす。
本稿では,アライメント問題を効果的に緩和し,非同期設定における収束を著しく促進することを示す,ベースローテーションの利用を提案する。
論文 参考訳（メタデータ） (2026-02-03T13:31:51Z) - AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。
スパース平均化と非同期更新の両方に対して収束保証を提供します。
大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
論文 参考訳（メタデータ） (2026-01-30T01:24:47Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:59:18Z) - Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。
具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。
我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
論文 参考訳（メタデータ） (2025-05-02T08:23:29Z) - BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training [5.7294516069851475]
BitPipeは、大規模なモデルのトレーニングを加速するための双方向のインターリーブパイプライン並列処理である。
最新の同期手法と比較して,BitPipeはGPTスタイルとBERTスタイルのモデルのトレーニングスループットを1.05x-1.28倍向上することを示す。
論文 参考訳（メタデータ） (2024-10-25T08:08:51Z) - Stochastic Optimization with Laggard Data Pipelines [65.20044914532221]
共通最適化手法の「データ抽出」拡張は同期手法よりも優れた性能を示すことを示す。
具体的には、ミニバッチによる凸最適化において、データエコーは、最適統計率を維持しながら収束率の曲率に支配される部分の高速化をもたらすことを示す。
論文 参考訳（メタデータ） (2020-10-26T14:55:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。