論文の概要: Epidemic Learning: Boosting Decentralized Learning with Randomized Communication

• arxiv url: http://arxiv.org/abs/2310.01972v1
• Date: Tue, 3 Oct 2023 11:28:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 14:39:16.660488
• Title: Epidemic Learning: Boosting Decentralized Learning with Randomized Communication
• Title（参考訳）: 流行学習:ランダムなコミュニケーションによる分散学習の促進
• Authors: Martijn de Vos, Sadegh Farhadkhani, Rachid Guerraoui, Anne-Marie Kermarrec, Rafael Pires, Rishi Sharma
• Abstract要約: 本稿では,単純だが強力な分散学習(DL)アルゴリズムであるエピデミック学習(EL)を提案する。 EL はベースライン DL アルゴリズムよりも 1.6times $ で収束し、同じ通信量に対して 1.8% 高い精度が得られる。
• 参考スコア（独自算出の注目度）: 8.685687713892193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Epidemic Learning (EL), a simple yet powerful decentralized learning (DL) algorithm that leverages changing communication topologies to achieve faster model convergence compared to conventional DL approaches. At each round of EL, each node sends its model updates to a random sample of $s$ other nodes (in a system of $n$ nodes). We provide an extensive theoretical analysis of EL, demonstrating that its changing topology culminates in superior convergence properties compared to the state-of-the-art (static and dynamic) topologies. Considering smooth non-convex loss functions, the number of transient iterations for EL, i.e., the rounds required to achieve asymptotic linear speedup, is in $\mathcal{O}(\frac{n^3}{s^2})$ which outperforms the best-known bound $\mathcal{O}({n^3})$ by a factor of $ s^2 $, indicating the benefit of randomized communication for DL. We empirically evaluate EL in a 96-node network and compare its performance with state-of-the-art DL approaches. Our results illustrate that EL converges up to $ 1.6\times $ quicker than baseline DL algorithms and attains 1.8% higher accuracy for the same communication volume.
• Abstract（参考訳）: 本稿では,従来のDL手法に比べて高速なモデル収束を実現するために,通信トポロジの変化を利用した簡易かつ強力な分散学習(DL)アルゴリズムであるエピデミックラーニング(EL)を提案する。 ELの各ラウンドで、各ノードはモデル更新を$s$他のノード($n$ノードのシステム)のランダムなサンプルに送信する。 el の広範な理論解析を行い,その変化トポロジーが最先端(静的および動的)トポロジーよりも優れた収束特性をもたらすことを示した。 滑らかな非凸損失関数を考えると、el、すなわち漸近的な線形のスピードアップを達成するのに必要なラウンドの数は$\mathcal{o}(\frac{n^3}{s^2})$であり、dlのランダム化通信の利点である$ s^2 $ によって最もよく知られたバウンド$\mathcal{o}({n^3})$よりも大きい。 96ノードネットワークにおけるELを実証的に評価し,その性能を最先端のDL手法と比較した。 その結果,EL はベースライン DL アルゴリズムよりも 1.6 倍高速に収束し,同じ通信量に対して 1.8% 高い精度が得られることがわかった。

関連論文リスト

• An Improved Finite-time Analysis of Temporal Difference Learning with Deep Neural Networks [11.925232472331494]
  一般の$L$層ニューラルネットワークを用いて, ニューラルTD法の非漸近解析を改良した。 新しい証明技術が開発され、新しい$tildemathcalO(epsilon-1)$サンプルの複雑さが引き出された。
  論文  参考訳（メタデータ） (2024-05-07T05:29:55Z)
• Gauss-Newton Temporal Difference Learning with Nonlinear Function Approximation [11.925232472331494]
  非線形関数近似を用いたQラーニング問題を解くため,ガウスニュートン時間差分法(GNTD)学習法を提案する。 各イテレーションにおいて、我々の手法は1つのガウスニュートン(GN)ステップを踏んで平均二乗ベルマン誤差(MSBE)の変種を最適化する。 いくつかのRLベンチマークにおいて、GNTDはTD型よりも高い報酬と高速な収束を示す。
  論文  参考訳（メタデータ） (2023-02-25T14:14:01Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• DADAO: Decoupled Accelerated Decentralized Asynchronous Optimization [0.0]
  DADAOは、L$-smooth と $mu$-strongly convex 関数の和を最小化する最初の分散化、高速化、非同期化、プライマリ化、一階述語アルゴリズムである。 我々のアルゴリズムは、$mathcalO(nsqrtchisqrtfracLmulog(frac1epsilon)$ localと$mathcalO(nsqrtchisqrtfracLmulog()のみを必要とすることを示す。
  論文  参考訳（メタデータ） (2022-07-26T08:47:54Z)
• Provably Efficient Convergence of Primal-Dual Actor-Critic with Nonlinear Function Approximation [15.319335698574932]
  The first efficient convergence result with primal-dual actor-critic with a convergence of $mathcalOleft ascent(Nright)Nright)$ under Polyian sample。 Open GymAI連続制御タスクの結果。
  論文  参考訳（メタデータ） (2022-02-28T15:16:23Z)
• DASHA: Distributed Nonconvex Optimization with Communication Compression, Optimal Oracle Complexity, and No Client Synchronization [77.34726150561087]
  我々は,分散最適化問題に対する新しい手法であるDASHAを開発し,解析する。 MARINAとは異なり、新しいDASHAとDASHA-MVRは圧縮ベクターのみを送信し、ノードを同期しないため、学習をより実用的なものにしている。
  論文  参考訳（メタデータ） (2022-02-02T20:10:40Z)
• Near-Optimal Sparse Allreduce for Distributed Deep Learning [18.99898181586806]
  コミュニケーションのオーバーヘッドは、大規模なディープラーニングモデルを大規模にトレーニングする上で、大きな障害のひとつです。 本稿では,スパース勾配を用いた分散トレーニング手法であるO$k$-Top$k$を提案する。
  論文  参考訳（メタデータ） (2022-01-19T13:56:57Z)
• Asynchronous Advantage Actor Critic: Non-asymptotic Analysis and Linear Speedup [56.27526702716774]
  本稿では、A3CアルゴリズムをTD(0)で修正し、A3C-TD(0)と呼ばれ、証明可能な収束を保証する。 i.i.d. サンプリング a3c-td(0) は、作業者あたり $mathcalo(epsilon-2.5/n)$ のサンプル複雑性を取得して $epsilon$ 精度を達成する。 2 に対して $mathcalO(epsilon-2.5/N)$ の最もよく知られたサンプル複雑性との比較
  論文  参考訳（メタデータ） (2020-12-31T09:07:09Z)
• Finite-Time Analysis for Double Q-learning [50.50058000948908]
  二重Q-ラーニングのための非漸近的有限時間解析を初めて提供する。 同期と非同期の二重Q-ラーニングの両方が,グローバル最適化の$epsilon$-accurate近辺に収束することが保証されていることを示す。
  論文  参考訳（メタデータ） (2020-09-29T18:48:21Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。