論文の概要: Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization

• arxiv url: http://arxiv.org/abs/2311.00465v1
• Date: Wed, 1 Nov 2023 11:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 13:40:24.235083
• Title: Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization
• Title（参考訳）: グラフ上の非同期SGD:非同期分散とフェデレーション最適化のための統一フレームワーク
• Authors: Mathieu Even, Anastasia Koloskova, Laurent Massouli\'e
• Abstract要約: 本稿では,グラフ上での非同期SGD(AGRAF SGD)について紹介する。 従来の分散非同期計算処理よりも遥かに穏やかな仮定の下で収束率を提供する。
• 参考スコア（独自算出の注目度）: 13.119144971868632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized and asynchronous communications are two popular techniques to speedup communication complexity of distributed machine learning, by respectively removing the dependency over a central orchestrator and the need for synchronization. Yet, combining these two techniques together still remains a challenge. In this paper, we take a step in this direction and introduce Asynchronous SGD on Graphs (AGRAF SGD) -- a general algorithmic framework that covers asynchronous versions of many popular algorithms including SGD, Decentralized SGD, Local SGD, FedBuff, thanks to its relaxed communication and computation assumptions. We provide rates of convergence under much milder assumptions than previous decentralized asynchronous works, while still recovering or even improving over the best know results for all the algorithms covered.
• Abstract（参考訳）: 分散型および非同期通信は、中央オーケストレータへの依存性と同期の必要性をそれぞれ取り除き、分散機械学習の通信複雑性を高速化する2つの一般的なテクニックである。 しかし、これらの2つのテクニックを組み合わせることは依然として課題である。 本稿では、SGD、分散SGD、ローカルSGD、FedBuffといった多くの一般的なアルゴリズムの非同期バージョンをカバーする一般的なアルゴリズムフレームワークであるAGRAF SGD(Asynchronous SGD on Graphs)を紹介する。 我々は、以前の分散非同期処理よりもはるかに軽度な仮定の下で収束率を提供しながら、カバーされた全てのアルゴリズムの最良の知識を回復または改善しています。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data [22.917944307972434]
  我々は、中央サーバのオーケストレーションの下で、複数のワーカにまたがるデータによる分散学習問題を考察する。 データ繰り返しの悪影響を考慮に入れたテキスト遅延非同期SGD(DuDe-ASGD)アルゴリズムを提案する。 DuDe-ASGDは非同期トレーニング中にすべてのワーカーからの静的な勾配をフルに利用し、モデルパラメータとサーバで使用されるデータサンプルに2つの時間ラグをもたらす。
  論文  参考訳（メタデータ） (2024-05-27T09:00:30Z)
• Federated Contextual Cascading Bandits with Asynchronous Communication and Heterogeneous Users [95.77678166036561]
  繊細な通信プロトコルを用いたUPB型アルゴリズムを提案する。 同期フレームワークで達成されたものと同等のサブ線形後悔境界を与えます。 合成および実世界のデータセットに関する実証評価は、後悔と通信コストの観点から、我々のアルゴリズムの優れた性能を検証する。
  論文  参考訳（メタデータ） (2024-02-26T05:31:14Z)
• Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity [85.92481138826949]
  我々は,従来の集中型手法の時間的複雑さを確実に改善する新しい手法であるShadowheart SGDを開発した。 また、サーバからワーカーへのブロードキャストが無視できない双方向設定も検討し、対応する方法を開発した。
  論文  参考訳（メタデータ） (2024-02-07T12:15:56Z)
• Asynchronous Distributed Optimization with Delay-free Parameters [9.062164411594175]
  本稿では,2つの分散アルゴリズム, Prox-DGD と DGD-ATC の非同期バージョンを開発し,無方向性ネットワーク上でのコンセンサス最適化問題を解く。 代替アルゴリズムとは対照的に,我々のアルゴリズムは,遅延に依存しないステップサイズを用いて,同期アルゴリズムの固定点集合に収束することができる。
  論文  参考訳（メタデータ） (2023-12-11T16:33:38Z)
• AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
  不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。 また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
  論文  参考訳（メタデータ） (2023-10-31T13:44:53Z)
• Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep Learning [0.0]
  Local Asynchronous SGD (LASGD) は、モデル同期にAll Reduceに依存する非同期分散アルゴリズムである。 ImageNetデータセット上の画像分類タスクにおいて、LASGDの性能を実証的に検証する。
  論文  参考訳（メタデータ） (2022-03-24T14:25:15Z)
• Decentralized Optimization with Heterogeneous Delays: a Continuous-Time Approach [6.187780920448871]
  非同期アルゴリズムを解析するための新しい連続時間フレームワークを提案する。 我々は,スムーズな凸関数と強い凸関数の和を最小化するために,完全に非同期な分散アルゴリズムを記述する。
  論文  参考訳（メタデータ） (2021-06-07T13:09:25Z)
• Asynchronous Decentralized Learning of a Neural Network [49.15799302636519]
  我々は、ARockと呼ばれる非同期コンピューティングフレームワークを利用して、分散シナリオでフィードフォワードニューラルネットワーク(SSFN)を推定する自己サイズ推定と呼ばれるディープニューラルネットワークを学習する。 非同期分散SSFNは1ノードのアクティベーションと一方の通信を許容することで通信ボトルネックを緩和し、通信オーバーヘッドを大幅に低減する。 実験結果において、非同期dSSFNと従来の同期dSSFNを比較し、特に通信ネットワークが疎い場合に、非同期dSSFNの競合性能を示す。
  論文  参考訳（メタデータ） (2020-04-10T15:53:37Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。