論文の概要: Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods

• arxiv url: http://arxiv.org/abs/2602.03802v1
• Date: Tue, 03 Feb 2026 18:02:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.627603
• Title: Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
• Title（参考訳）: 非同期SGDは必要か? : 同期法の準最適性について
• Authors: Grigory Begunov, Alexander Tyurin,
• Abstract要約: 我々はsynchronous SGDとその頑健な変種である$m$-Synchronous SGDを再検討し、多くの異種計算シナリオにおいてほぼ最適であることを示す。 同期メソッドは普遍的な解ではなく、非同期メソッドが必要なタスクが存在するが、現代の不均一な計算シナリオの多くに十分であることを示す。
• 参考スコア（独自算出の注目度）: 59.72933231179977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern distributed optimization methods mostly rely on traditional synchronous approaches, despite substantial recent progress in asynchronous optimization. We revisit Synchronous SGD and its robust variant, called $m$-Synchronous SGD, and theoretically show that they are nearly optimal in many heterogeneous computation scenarios, which is somewhat unexpected. We analyze the synchronous methods under random computation times and adversarial partial participation of workers, and prove that their time complexities are optimal in many practical regimes, up to logarithmic factors. While synchronous methods are not universal solutions and there exist tasks where asynchronous methods may be necessary, we show that they are sufficient for many modern heterogeneous computation scenarios.
• Abstract（参考訳）: 現代の分散最適化手法は、非同期最適化のかなり最近の進歩にもかかわらず、主に従来の同期アプローチに依存している。 我々は、Singchronous SGDとその頑健な変種である$m$-Synchronous SGDを再検討し、多くの不均一な計算シナリオにおいて、それらがほぼ最適であることを示す。 ランダムな計算時間と作業者の対数的部分的参加の下で同期手法を解析し、その時間複雑度が対数的要因まで多くの実践的状況において最適であることを証明した。 同期メソッドは普遍的な解ではなく、非同期メソッドが必要なタスクが存在するが、現代の不均一な計算シナリオの多くに十分であることを示す。

関連論文リスト

• First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data [0.0]
  論文は非同期順序最適化のための厳格なフレームワークを開発する。 適切な設計により、非同期SGDは、これまで同期メソッドでのみ知られていた保証に適合する最適な時間複雑性を実現することができることを示す。
  論文  参考訳（メタデータ） (2026-01-05T19:51:09Z)
• Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
  本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。 我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-09-26T19:19:15Z)
• Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity [92.1840862558718]
  Ringmaster ASGDは任意に不均一な計算時間の下で最適な時間複雑性を達成する。 これにより、このようなシナリオにおける時間複雑性の理論的な下限を満たす最初の非同期SGD法となる。
  論文  参考訳（メタデータ） (2025-01-27T16:07:26Z)
• Asynchronous Distributed Optimization with Delay-free Parameters [9.062164411594175]
  本稿では,2つの分散アルゴリズム, Prox-DGD と DGD-ATC の非同期バージョンを開発し,無方向性ネットワーク上でのコンセンサス最適化問題を解く。 代替アルゴリズムとは対照的に,我々のアルゴリズムは,遅延に依存しないステップサイズを用いて,同期アルゴリズムの固定点集合に収束することができる。
  論文  参考訳（メタデータ） (2023-12-11T16:33:38Z)
• Advances in Asynchronous Parallel and Distributed Optimization [11.438194383787604]
  非同期メソッドは最適化変数の一貫性のあるビューを維持するためにすべてのプロセッサを必要としない。 それらはストラグラー(遅いノード)や信頼できない通信リンクのような問題に敏感ではない。 本稿では,非同期最適化手法の設計と解析における最近の進歩について概説する。
  論文  参考訳（メタデータ） (2020-06-24T16:10:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。