論文の概要: Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation

• arxiv url: http://arxiv.org/abs/2602.03515v1
• Date: Tue, 03 Feb 2026 13:31:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.469509
• Title: Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation
• Title（参考訳）: Basis Rotation による非同期パイプライン並列処理の安定性の緩和
• Authors: Hyunji Jung, Sungbin Shin, Namhoon Lee,
• Abstract要約: 非同期パイプライン並列処理は、同期実行に固有のパイプラインバブルを排除し、ハードウェア利用を最大化する。 この効率向上は勾配安定度によって損なわれ、遅延勾配による即時モデル更新は最適化プロセスにノイズをもたらす。 本稿では,アライメント問題を効果的に緩和し,非同期設定における収束を著しく促進することを示す,ベースローテーションの利用を提案する。
• 参考スコア（独自算出の注目度）: 6.710608163117798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Asynchronous pipeline parallelism maximizes hardware utilization by eliminating the pipeline bubbles inherent in synchronous execution, offering a path toward efficient large-scale distributed training. However, this efficiency gain can be compromised by gradient staleness, where the immediate model updates with delayed gradients introduce noise into the optimization process. Crucially, we identify a critical, yet often overlooked, pathology: this delay scales linearly with pipeline depth, fundamentally undermining the very scalability that the method originally intends to provide. In this work, we investigate this inconsistency and bridge the gap by rectifying delayed gradients through basis rotation, restoring scalable asynchronous training while maintaining performance. Specifically, we observe that the deleterious effects of delayed gradients are exacerbated when the Hessian eigenbasis is misaligned with the standard coordinate basis. We demonstrate that this misalignment prevents coordinate-wise adaptive schemes, such as Adam, from effectively leveraging curvature-aware adaptivity. This failure leads to significant oscillations in the optimization trajectory and, consequently, slower convergence. We substantiate these findings through both rigorous theoretical analysis and empirical evaluation. To address this challenge, we propose the use of basis rotation, demonstrating that it effectively mitigates the alignment issue and significantly accelerates convergence in asynchronous settings. For example, our training of a 1B-parameter LLM with basis rotation achieves the same training loss in 76.8% fewer iterations compared to the best-performing asynchronous pipeline parallel training baseline.
• Abstract（参考訳）: 非同期パイプライン並列性は、同期実行に固有のパイプラインバブルを排除し、効率的な大規模分散トレーニングへの道を提供することにより、ハードウェア利用を最大化する。 しかし、この効率向上は勾配安定度によって損なわれ、そこでは、遅延勾配による即時モデル更新が最適化プロセスにノイズをもたらす。 この遅延はパイプラインの深さと線形にスケールし、メソッドが本来提供する意図していたスケーラビリティを根本的に損ないます。 本研究では,この不整合性を調査し,ベースローテーションにより遅延勾配を補正し,パフォーマンスを維持しながらスケーラブルな非同期トレーニングを復元することでギャップを埋める。 具体的には、ヘッセン固有基底が標準座標基底と不一致である場合に、遅延勾配の有害な効果が増すのを観察する。 この不整合は、Adamのような座標ワイド適応スキームが曲率認識適応性を効果的に活用するのを防ぐことを実証する。 この失敗は最適化軌道に大きな振動をもたらし、結果として収束が遅くなる。 厳密な理論的解析と経験的評価によってこれらの知見を裏付ける。 この課題に対処するために、ベースローテーションの使用を提案し、アライメント問題を効果的に軽減し、非同期設定における収束を著しく加速することを示した。 例えば、ベースローテーションによる1BパラメータLDMのトレーニングは、最高のパフォーマンスの非同期パイプライン並列トレーニングベースラインと比較して、76.8%のイテレーションで同じトレーニング損失を達成する。

関連論文リスト

• Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
  パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
  論文  参考訳（メタデータ） (2025-05-02T08:23:29Z)
• Optimizing Asynchronous Federated Learning: A Delicate Trade-Off Between Model-Parameter Staleness and Update Frequency [2.1990852305468533]
  同期フェデレーションラーニング(FL)は、ストラグラー効果によりクライアント数に悪影響を及ぼす。 本研究では,非同期FLアルゴリズムにおける設計選択の影響をよりよく理解するために,モデリングと解析に頼っている。 特に,モデルパラメータの安定化を回避し,勾配推定誤差の最小化という,非同期FLの最適化のための基本的なトレードオフを特徴付ける。
  論文  参考訳（メタデータ） (2025-02-12T08:38:13Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Delay-adaptive step-sizes for asynchronous learning [8.272788656521415]
  システム内の実際の時間変化の遅延に依存する学習率を利用することが可能であることを示す。 これらの方法のそれぞれに対して, 遅延をオンラインで測定し, 遅延適応的なステップサイズポリシーを提示し, 現状に対する理論的, 実践的優位性を実証する。
  論文  参考訳（メタデータ） (2022-02-17T09:51:22Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。