論文の概要: Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
- arxiv url: http://arxiv.org/abs/2602.03802v1
- Date: Tue, 03 Feb 2026 18:02:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.627603
- Title: Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
- Title（参考訳）: 非同期SGDは必要か? : 同期法の準最適性について
- Authors: Grigory Begunov, Alexander Tyurin,
- Abstract要約: 我々はsynchronous SGDとその頑健な変種である$m$-Synchronous SGDを再検討し、多くの異種計算シナリオにおいてほぼ最適であることを示す。
同期メソッドは普遍的な解ではなく、非同期メソッドが必要なタスクが存在するが、現代の不均一な計算シナリオの多くに十分であることを示す。
- 参考スコア（独自算出の注目度）: 59.72933231179977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern distributed optimization methods mostly rely on traditional synchronous approaches, despite substantial recent progress in asynchronous optimization. We revisit Synchronous SGD and its robust variant, called $m$-Synchronous SGD, and theoretically show that they are nearly optimal in many heterogeneous computation scenarios, which is somewhat unexpected. We analyze the synchronous methods under random computation times and adversarial partial participation of workers, and prove that their time complexities are optimal in many practical regimes, up to logarithmic factors. While synchronous methods are not universal solutions and there exist tasks where asynchronous methods may be necessary, we show that they are sufficient for many modern heterogeneous computation scenarios.
- Abstract（参考訳）: 現代の分散最適化手法は、非同期最適化のかなり最近の進歩にもかかわらず、主に従来の同期アプローチに依存している。
我々は、Singchronous SGDとその頑健な変種である$m$-Synchronous SGDを再検討し、多くの不均一な計算シナリオにおいて、それらがほぼ最適であることを示す。
ランダムな計算時間と作業者の対数的部分的参加の下で同期手法を解析し、その時間複雑度が対数的要因まで多くの実践的状況において最適であることを証明した。
同期メソッドは普遍的な解ではなく、非同期メソッドが必要なタスクが存在するが、現代の不均一な計算シナリオの多くに十分であることを示す。
関連論文リスト
- First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data [0.0]
論文は非同期順序最適化のための厳格なフレームワークを開発する。
適切な設計により、非同期SGDは、これまで同期メソッドでのみ知られていた保証に適合する最適な時間複雑性を実現することができることを示す。
論文 参考訳（メタデータ） (2026-01-05T19:51:09Z) - Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。
我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
論文 参考訳（メタデータ） (2025-09-26T19:19:15Z) - Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity [92.1840862558718]
Ringmaster ASGDは任意に不均一な計算時間の下で最適な時間複雑性を達成する。
これにより、このようなシナリオにおける時間複雑性の理論的な下限を満たす最初の非同期SGD法となる。
論文 参考訳（メタデータ） (2025-01-27T16:07:26Z) - Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations [92.1840862558718]
実用的な分散システムでは、労働者は概して均質ではなく、非常に多様な処理時間を持つ。
本稿では、任意に遅い計算を扱うための新しい並列手法Freyaを提案する。
Freyaは従来の手法と比較して,複雑性の保証が大幅に向上していることを示す。
論文 参考訳（メタデータ） (2024-05-24T13:33:30Z) - Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity [85.92481138826949]
我々は,従来の集中型手法の時間的複雑さを確実に改善する新しい手法であるShadowheart SGDを開発した。
また、サーバからワーカーへのブロードキャストが無視できない双方向設定も検討し、対応する方法を開発した。
論文 参考訳（メタデータ） (2024-02-07T12:15:56Z) - Asynchronous Distributed Optimization with Delay-free Parameters [9.062164411594175]
本稿では,2つの分散アルゴリズム, Prox-DGD と DGD-ATC の非同期バージョンを開発し,無方向性ネットワーク上でのコンセンサス最適化問題を解く。
代替アルゴリズムとは対照的に,我々のアルゴリズムは,遅延に依存しないステップサイズを用いて,同期アルゴリズムの固定点集合に収束することができる。
論文 参考訳（メタデータ） (2023-12-11T16:33:38Z) - AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。
また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
論文 参考訳（メタデータ） (2023-10-31T13:44:53Z) - An Efficient Asynchronous Method for Integrating Evolutionary and
Gradient-based Policy Search [76.73477450555046]
本稿では、ESの並列効率を最大化し、ポリシー勾配法と統合する非同期進化戦略強化学習(AES-RL)を提案する。
具体的には、(1)ESとDRLを非同期にマージする新しいフレームワークを提案し、2)非同期、ES、DRLのすべての利点を利用できる様々な非同期更新方法を提案する。
論文 参考訳（メタデータ） (2020-12-10T02:30:48Z) - Advances in Asynchronous Parallel and Distributed Optimization [11.438194383787604]
非同期メソッドは最適化変数の一貫性のあるビューを維持するためにすべてのプロセッサを必要としない。
それらはストラグラー(遅いノード)や信頼できない通信リンクのような問題に敏感ではない。
本稿では,非同期最適化手法の設計と解析における最近の進歩について概説する。
論文 参考訳（メタデータ） (2020-06-24T16:10:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。