論文の概要: Nesterov Method for Asynchronous Pipeline Parallel Optimization

• arxiv url: http://arxiv.org/abs/2505.01099v1
• Date: Fri, 02 May 2025 08:23:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.963023
• Title: Nesterov Method for Asynchronous Pipeline Parallel Optimization
• Title（参考訳）: 非同期パイプライン並列最適化のためのNesterov法
• Authors: Thalaiyasingam Ajanthan, Sameera Ramasinghe, Yan Zuo, Gil Avraham, Alexander Long,
• Abstract要約: パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
• 参考スコア（独自算出の注目度）: 59.79227116582264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pipeline Parallelism (PP) enables large neural network training on small, interconnected devices by splitting the model into multiple stages. To maximize pipeline utilization, asynchronous optimization is appealing as it offers 100% pipeline utilization by construction. However, it is inherently challenging as the weights and gradients are no longer synchronized, leading to stale (or delayed) gradients. To alleviate this, we introduce a variant of Nesterov Accelerated Gradient (NAG) for asynchronous optimization in PP. Specifically, we modify the look-ahead step in NAG to effectively address the staleness in gradients. We theoretically prove that our approach converges at a sublinear rate in the presence of fixed delay in gradients. Our experiments on large-scale language modelling tasks using decoder-only architectures with up to 1B parameters, demonstrate that our approach significantly outperforms existing asynchronous methods, even surpassing the synchronous baseline.
• Abstract（参考訳）: Pipeline Parallelism(PP)は、モデルを複数のステージに分割することで、小さな相互接続デバイス上での大規模なニューラルネットワークトレーニングを可能にする。 パイプライン利用を最大化するためには、100%パイプライン利用を構築によって提供するため、非同期最適化が魅力的である。 しかし、重みと勾配はもはや同期しないため、古い(または遅れた)勾配になるため、本質的には困難である。 これを軽減するために、PPにおける非同期最適化のためのNesterov Accelerated Gradient (NAG) の亜種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。 最大1Bパラメータを持つデコーダのみのアーキテクチャを用いた大規模言語モデリングタスクの実験では、我々のアプローチが既存の非同期メソッドよりも大幅に優れており、同期ベースラインを超えています。

関連論文リスト

• Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
  非同期勾配降下法(ASGD)は訓練速度を改善することができるが、通信とスループットの差により遅延に敏感である。 PD-ASGDは、フォワードとバックのパスに別々のスレッドを使用し、更新を分離し、フォワードとバックのスレッドの比率を高くする。 提案手法では,遅延が存在する場合,同期データ並列処理よりも5.95タイム以上高速に動作しながら,最先端の処理結果に近い結果が得られる。
  論文  参考訳（メタデータ） (2024-10-08T12:32:36Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Asynchronous SGD Beats Minibatch SGD Under Arbitrary Delays [8.46491234455848]
  ステップの数だけでなく、ステップの遅延にもよらず、同じ非同期勾配の保証がずっと良いことを証明しています。 そこで本研究では,「仮想ステップ」と「遅延反復」に基づいて,両凸非適応勾配に対する最先端保証を導出する手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T16:28:37Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Stochastic Optimization with Laggard Data Pipelines [65.20044914532221]
  共通最適化手法の「データ抽出」拡張は同期手法よりも優れた性能を示すことを示す。 具体的には、ミニバッチによる凸最適化において、データエコーは、最適統計率を維持しながら収束率の曲率に支配される部分の高速化をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:55:31Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。