論文の概要: Ordered Local Momentum for Asynchronous Distributed Learning under Arbitrary Delays

• arxiv url: http://arxiv.org/abs/2601.12322v1
• Date: Sun, 18 Jan 2026 09:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.572783
• Title: Ordered Local Momentum for Asynchronous Distributed Learning under Arbitrary Delays
• Title（参考訳）: 任意遅延下での非同期分散学習のための順序付き局所モーメント
• Authors: Chang-Wei Shi, Shi-Shang Wang, Wu-Jun Li,
• Abstract要約: 非同期分散学習のための新しい手法OrLoMoを提案する。 OrLoMoでは、各ワーカーがMSGDをローカルに実行します。
• 参考スコア（独自算出の注目度）: 22.743876197077785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Momentum SGD (MSGD) serves as a foundational optimizer in training deep models due to momentum's key role in accelerating convergence and enhancing generalization. Meanwhile, asynchronous distributed learning is crucial for training large-scale deep models, especially when the computing capabilities of the workers in the cluster are heterogeneous. To reduce communication frequency, local updates are widely adopted in distributed learning. However, how to implement asynchronous distributed MSGD with local updates remains unexplored. To solve this problem, we propose a novel method, called \underline{or}dered \underline{lo}cal \underline{mo}mentum (OrLoMo), for asynchronous distributed learning. In OrLoMo, each worker runs MSGD locally. Then the local momentum from each worker will be aggregated by the server in order based on its global iteration index. To the best of our knowledge, OrLoMo is the first method to implement asynchronous distributed MSGD with local updates. We prove the convergence of OrLoMo for non-convex problems under arbitrary delays. Experiments validate that OrLoMo can outperform its synchronous counterpart and other asynchronous methods.
• Abstract（参考訳）: 運動量SGD(英語版)(MSGD)は、収束の加速と一般化の促進において運動量の主要な役割のために、深層モデルのトレーニングにおいて基礎最適化として機能する。 一方、大規模深層モデルのトレーニングには非同期分散学習が不可欠である。 通信周波数を低減するため、分散学習ではローカル更新が広く採用されている。 しかし、ローカル更新による非同期分散MSGDの実装方法はまだ検討されていない。 そこで本研究では,非同期分散学習のための新しい手法である \underline{or}dered \underline{lo}cal \underline{mo}mentum (OrLoMo) を提案する。 OrLoMoでは、各ワーカーがMSGDをローカルに実行する。 次に、各ワーカのローカルモーメントは、そのグローバルなイテレーションインデックスに基づいて、サーバによって順に集約されます。 私たちの知る限りでは、OrLoMoは非同期分散MSGDをローカル更新で実装する最初の方法です。 任意の遅延下での非凸問題に対するOrLoMoの収束性を証明する。 実験では、OrLoMoが同期メソッドや他の非同期メソッドよりも優れていることが検証されている。

関連論文リスト

• HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
  エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。 損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-01-16T07:37:23Z)
• CycleSL: Server-Client Cyclical Update Driven Scalable Split Learning [60.59553507555341]
  本稿では,新たなアグリゲーションフリーな分割学習フレームワークであるCycleSLを紹介する。 ブロック座標降下の交互化によって着想を得たCycleSLは、サーバサイドトレーニングを独立した高レベルの機械学習タスクとして扱う。 実験結果から,CycleSLのモデル性能向上効果が示唆された。
  論文  参考訳（メタデータ） (2025-11-23T21:00:21Z)
• HALoS: Hierarchical Asynchronous Local SGD over Slow Networks for Geo-Distributed Large Language Model Training [41.629510958918225]
  大規模言語モデル(LLM)の訓練は、地理的に分散したアクセラレータにますます依存し、地域間での通信の禁止と不均一なハードウェアの利用を引き起こす。 HALoSは,各リージョンにローカルサーバ(LPS)を導入し,地域内リンク間の階層的トラグラーをマージするグローバル非同期最適化フレームワークである。 実験的に、HALoSはジオ分散トレーニングのベースラインよりも7.5倍早く収束し、既存の非同期メソッドを最大2.1倍改善する。
  論文  参考訳（メタデータ） (2025-06-05T00:48:55Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Ordered Momentum for Asynchronous SGD [12.810976838406193]
  本稿では,ASGDのための運動量(OrMo)と呼ばれる新しい手法を提案する。 OrMo では、運動量は指数に基づいて順に勾配を整理することで ASGD に組み込まれる。 実験結果から,OrMoはASGDに比べてコンバージェンス性能がよいことが示された。
  論文  参考訳（メタデータ） (2024-07-27T11:35:19Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep Learning [0.0]
  Local Asynchronous SGD (LASGD) は、モデル同期にAll Reduceに依存する非同期分散アルゴリズムである。 ImageNetデータセット上の画像分類タスクにおいて、LASGDの性能を実証的に検証する。
  論文  参考訳（メタデータ） (2022-03-24T14:25:15Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Double Momentum SGD for Federated Learning [94.58442574293021]
  我々は、フェデレート学習におけるモデル性能を改善するために、DOMOと呼ばれる新しいSGD変種を提案する。 1つのモメンタバッファはサーバ更新方向を追跡し、もう1つはローカル更新方向を追跡します。 本稿では,サーバとローカルモーメントSGDを協調する新しいサーバモーメント融合手法を提案する。
  論文  参考訳（メタデータ） (2021-02-08T02:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。