論文の概要: Robust Fully-Asynchronous Methods for Distributed Training over General
Architecture
- arxiv url: http://arxiv.org/abs/2307.11617v1
- Date: Fri, 21 Jul 2023 14:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 12:13:43.580724
- Title: Robust Fully-Asynchronous Methods for Distributed Training over General
Architecture
- Title(参考訳): 一般アーキテクチャ上の分散トレーニングのためのロバスト完全同期法
- Authors: Zehan Zhu, Ye Tian, Yan Huang, Jinming Xu, Shibo He
- Abstract要約: 分散機械学習問題における完全な同期は、レイテンシ、パッケージの損失、ストラグラーの存在のため、非効率であり、不可能である。
本稿では,R-FAST (Fully-Asynchronous Gradient Tracking Method) を提案する。
- 参考スコア(独自算出の注目度): 12.271245147370202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Perfect synchronization in distributed machine learning problems is
inefficient and even impossible due to the existence of latency, package losses
and stragglers. We propose a Robust Fully-Asynchronous Stochastic Gradient
Tracking method (R-FAST), where each device performs local computation and
communication at its own pace without any form of synchronization. Different
from existing asynchronous distributed algorithms, R-FAST can eliminate the
impact of data heterogeneity across devices and allow for packet losses by
employing a robust gradient tracking strategy that relies on properly designed
auxiliary variables for tracking and buffering the overall gradient vector.
More importantly, the proposed method utilizes two spanning-tree graphs for
communication so long as both share at least one common root, enabling flexible
designs in communication architectures. We show that R-FAST converges in
expectation to a neighborhood of the optimum with a geometric rate for smooth
and strongly convex objectives; and to a stationary point with a sublinear rate
for general non-convex settings. Extensive experiments demonstrate that R-FAST
runs 1.5-2 times faster than synchronous benchmark algorithms, such as
Ring-AllReduce and D-PSGD, while still achieving comparable accuracy, and
outperforms existing asynchronous SOTA algorithms, such as AD-PSGD and OSGP,
especially in the presence of stragglers.
- Abstract(参考訳): 分散機械学習問題における完全な同期は、レイテンシ、パッケージロス、ストラグラーの存在により、非効率であり、さらには不可能である。
そこで本研究では,各デバイスが局所的な計算と通信を自速で行うロバストな完全同期型確率的勾配追従法(r-fast)を提案する。
既存の非同期分散アルゴリズムとは異なり、R-FASTはデバイス間のデータ不均一性の影響を排除し、全体的な勾配ベクトルの追跡とバッファリングのために適切に設計された補助変数に依存する堅牢な勾配追跡戦略を採用することにより、パケットロスを可能にする。
さらに,本提案手法は,少なくとも1つの共通根を共有できる限り,2つのスパンニングツリーグラフを用いて通信アーキテクチャの柔軟な設計を可能にする。
本研究では,R-FASTは,滑らかかつ強凸な目的に対して幾何速度で最適近傍に収束し,一般の非凸設定に対して線形速度で静止点に収束することを示す。
Ring-AllReduceやD-PSGDのような同期ベンチマークアルゴリズムよりも1.5~2倍高速で動作し、精度は高いが、AD-PSGDやOSGPのような既存の非同期SOTAアルゴリズムよりも優れている。
関連論文リスト
- Asynchronous Distributed Optimization with Delay-free Parameters [9.062164411594175]
本稿では,2つの分散アルゴリズム,Prox-DGDとDGD-ATCの非同期バージョンを開発し,無方向性ネットワーク上でのコンセンサス最適化問題を解く。
代替アルゴリズムとは対照的に,我々のアルゴリズムは,遅延に依存しないステップサイズを用いて,同期アルゴリズムの固定点集合に収束することができる。
また、2つの非同期メソッドの収束速度は、最悪の場合に制約されるのではなく、実際の非同期レベルに適応することを示した。
論文 参考訳(メタデータ) (2023-12-11T16:33:38Z) - AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。
また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
論文 参考訳(メタデータ) (2023-10-31T13:44:53Z) - Towards Understanding the Generalizability of Delayed Stochastic
Gradient Descent [63.43247232708004]
非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。
既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。
我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
論文 参考訳(メタデータ) (2023-08-18T10:00:27Z) - Straggler-Resilient Decentralized Learning via Adaptive Asynchronous
Updates [12.075207097903203]
完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。
本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。
我々は、DSGD-AAUが収束の線形高速化を達成することを示す(つまり、労働者数に対して収束性能が線形的に増加する)。
論文 参考訳(メタデータ) (2023-06-11T02:08:59Z) - Non-Coherent Over-the-Air Decentralized Stochastic Gradient Descent [0.0]
無線接続システム上での分散機械学習タスクを解決するために,分散グラディエント Descent (DSGD) を提案する。
NCOTA-DSGDは、MNISTデータセット上の画像分類タスクを解くことにより、数値的に評価される。
論文 参考訳(メタデータ) (2022-11-19T19:15:34Z) - Edge Continual Learning for Dynamic Digital Twins over Wireless Networks [68.65520952712914]
デジタルツイン(DT)は、現実世界とメタバースの間の重要なリンクを構成する。
本稿では,物理的双生児とそれに対応するサイバー双生児の親和性を正確にモデル化する新しいエッジ連続学習フレームワークを提案する。
提案するフレームワークは,破滅的忘れ込みに対して頑健な,高精度かつ同期的なCTモデルを実現する。
論文 参考訳(メタデータ) (2022-04-10T23:25:37Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-12T15:12:17Z) - Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。
DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文 参考訳(メタデータ) (2021-07-06T21:59:49Z) - Decentralized Optimization with Heterogeneous Delays: a Continuous-Time
Approach [6.187780920448871]
非同期アルゴリズムを解析するための新しい連続時間フレームワークを提案する。
我々は,スムーズな凸関数と強い凸関数の和を最小化するために,完全に非同期な分散アルゴリズムを記述する。
論文 参考訳(メタデータ) (2021-06-07T13:09:25Z) - Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。
ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
論文 参考訳(メタデータ) (2021-03-18T08:47:56Z) - An Efficient Asynchronous Method for Integrating Evolutionary and
Gradient-based Policy Search [76.73477450555046]
本稿では、ESの並列効率を最大化し、ポリシー勾配法と統合する非同期進化戦略強化学習(AES-RL)を提案する。
具体的には、(1)ESとDRLを非同期にマージする新しいフレームワークを提案し、2)非同期、ES、DRLのすべての利点を利用できる様々な非同期更新方法を提案する。
論文 参考訳(メタデータ) (2020-12-10T02:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。