論文の概要: BlueFog: Make Decentralized Algorithms Practical for Optimization and
Deep Learning
- arxiv url: http://arxiv.org/abs/2111.04287v1
- Date: Mon, 8 Nov 2021 06:06:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-10 00:28:27.083685
- Title: BlueFog: Make Decentralized Algorithms Practical for Optimization and
Deep Learning
- Title（参考訳）: BlueFog: 最適化とディープラーニングのために分散アルゴリズムを実践する
- Authors: Bicheng Ying, Kun Yuan, Hanbin Hu, Yiming Chen, Wotao Yin
- Abstract要約: 分散アルゴリズムの単純かつ高性能な実装のためのピソンライブラリであるBlueFogを紹介する。
様々な通信操作の統一的な抽象化に基づいて、BlueFogは分散化されたアルゴリズムのスペクトルを実装するための直感的なインタフェースを提供する。
BlueFogは、非常に高いスループットに達し、最先端の分散ディープラーニングパッケージであるHorovodよりも1.2タイムのsim 1.8times$スピードアップを達成した。
- 参考スコア（独自算出の注目度）: 29.427785235669358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized algorithm is a form of computation that achieves a global goal
through local dynamics that relies on low-cost communication between
directly-connected agents. On large-scale optimization tasks involving
distributed datasets, decentralized algorithms have shown strong, sometimes
superior, performance over distributed algorithms with a central node.
Recently, developing decentralized algorithms for deep learning has attracted
great attention. They are considered as low-communication-overhead alternatives
to those using a parameter server or the Ring-Allreduce protocol. However, the
lack of an easy-to-use and efficient software package has kept most
decentralized algorithms merely on paper. To fill the gap, we introduce
BlueFog, a python library for straightforward, high-performance implementations
of diverse decentralized algorithms. Based on a unified abstraction of various
communication operations, BlueFog offers intuitive interfaces to implement a
spectrum of decentralized algorithms, from those using a static, undirected
graph for synchronous operations to those using dynamic and directed graphs for
asynchronous operations. BlueFog also adopts several system-level acceleration
techniques to further optimize the performance on the deep learning tasks. On
mainstream DNN training tasks, BlueFog reaches a much higher throughput and
achieves an overall $1.2\times \sim 1.8\times$ speedup over Horovod, a
state-of-the-art distributed deep learning package based on Ring-Allreduce.
BlueFog is open source at https://github.com/Bluefog-Lib/bluefog.
- Abstract（参考訳）: 分散アルゴリズム(Decentralized algorithm)は、直接接続されたエージェント間の低コストな通信に依存する局所力学によって、グローバルな目標を達成する計算形式である。
分散データセットを含む大規模最適化タスクでは、分散アルゴリズムは中央ノードを持つ分散アルゴリズムよりも強く、時には優れている。
近年,ディープラーニングのための分散アルゴリズムの開発が注目されている。
これらはパラメータサーバやring-allreduceプロトコルを使用する場合の低通信オーバヘッドな代替品と見なされている。
しかし、使いやすい効率的なソフトウェアパッケージの欠如は、ほとんどの分散アルゴリズムを紙に留めている。
このギャップを埋めるために、多様な分散アルゴリズムの単純かつ高性能な実装のためのピソンライブラリBlueFogを紹介する。
さまざまな通信操作の統一的な抽象化に基づいて、bluefogは、同期操作に静的で無向なグラフを使うものから非同期操作に動的で有向なグラフを使うものまで、分散アルゴリズムのスペクトルを実装するための直感的なインターフェースを提供する。
BlueFogはまた、ディープラーニングタスクのパフォーマンスをさらに最適化するために、いくつかのシステムレベルのアクセラレーション技術も採用している。
主流のDNNトレーニングタスクでは、BlueFogはスループットが大幅に向上し、Ring-Allreduceをベースとした最先端の分散ディープラーニングパッケージであるHorovodよりも総じて1.2\times \sim 1.8\times$スピードアップを達成した。
bluefogは、https://github.com/bluefog-lib/bluefogでオープンソースである。
関連論文リスト
- A Communication and Computation Efficient Fully First-order Method for Decentralized Bilevel Optimization [16.020878731214083]
本稿では,分散バイレベル最適化のための完全一階分散手法である$textC2$DFBを提案する。
$textC2$DFBは計算効率と通信効率の両方です。
論文 参考訳（メタデータ） (2024-10-18T02:00:45Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。
運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
論文 参考訳（メタデータ） (2022-11-14T12:32:18Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Exponential Graph is Provably Efficient for Decentralized Deep Training [30.817705471352614]
いわゆる指数グラフでは、すべてのノードが$O(log(n)$ 隣り合っていて、$n$ はノードの総数である。
この研究は、そのようなグラフが高速通信と効果的な平均化の両方に同時に結びつくことを証明している。
また、各ノードが反復ごとに1つの隣接ノードと通信する$log(n)$ 1-peer指数グラフの列は、共に正確な平均化を達成することができる。
論文 参考訳（メタデータ） (2021-10-26T02:33:39Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Decentralized Deep Learning using Momentum-Accelerated Consensus [15.333413663982874]
複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。
本稿では,エージェントが固定された通信トポロジ上で対話する分散ディープラーニングアルゴリズムを提案し,解析する。
本アルゴリズムは,勾配に基づくプロトコルで用いられるヘビーボール加速度法に基づく。
論文 参考訳（メタデータ） (2020-10-21T17:39:52Z) - Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。
このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。
いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文 参考訳（メタデータ） (2020-09-19T17:28:11Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。