論文の概要: Exponential Graph is Provably Efficient for Decentralized Deep Training
- arxiv url: http://arxiv.org/abs/2110.13363v1
- Date: Tue, 26 Oct 2021 02:33:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 06:41:24.513913
- Title: Exponential Graph is Provably Efficient for Decentralized Deep Training
- Title（参考訳）: 指数グラフはおそらく分散深層学習に有効である
- Authors: Bicheng Ying, Kun Yuan, Yiming Chen, Hanbin Hu, Pan Pan, Wotao Yin
- Abstract要約: いわゆる指数グラフでは、すべてのノードが$O(log(n)$ 隣り合っていて、$n$ はノードの総数である。
この研究は、そのようなグラフが高速通信と効果的な平均化の両方に同時に結びつくことを証明している。
また、各ノードが反復ごとに1つの隣接ノードと通信する$log(n)$ 1-peer指数グラフの列は、共に正確な平均化を達成することができる。
- 参考スコア（独自算出の注目度）: 30.817705471352614
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized SGD is an emerging training method for deep learning known for
its much less (thus faster) communication per iteration, which relaxes the
averaging step in parallel SGD to inexact averaging. The less exact the
averaging is, however, the more the total iterations the training needs to
take. Therefore, the key to making decentralized SGD efficient is to realize
nearly-exact averaging using little communication. This requires a skillful
choice of communication topology, which is an under-studied topic in
decentralized optimization.
In this paper, we study so-called exponential graphs where every node is
connected to $O(\log(n))$ neighbors and $n$ is the total number of nodes. This
work proves such graphs can lead to both fast communication and effective
averaging simultaneously. We also discover that a sequence of $\log(n)$
one-peer exponential graphs, in which each node communicates to one single
neighbor per iteration, can together achieve exact averaging. This favorable
property enables one-peer exponential graph to average as effective as its
static counterpart but communicates more efficiently. We apply these
exponential graphs in decentralized (momentum) SGD to obtain the
state-of-the-art balance between per-iteration communication and iteration
complexity among all commonly-used topologies. Experimental results on a
variety of tasks and models demonstrate that decentralized (momentum) SGD over
exponential graphs promises both fast and high-quality training. Our code is
implemented through BlueFog and available at
https://github.com/Bluefog-Lib/NeurIPS2021-Exponential-Graph.
- Abstract（参考訳）: 分散sgdは、平均化ステップを並列sgdで緩和し平均化を不可能にする、反復当たりの通信がはるかに少ない(非常に速い)ことで知られる、ディープラーニングのための新たなトレーニング方法である。
しかし平均化の正確さが低ければ低いほど、トレーニングに必要な総イテレーションはより多くなる。
したがって、分散sgdを効率的にするための鍵は、ほとんどコミュニケーションを使わずにほぼ実効的な平均化を実現することである。
これは分散最適化の未熟なトピックであるコミュニケーショントポロジーを巧みに選択する必要がある。
本稿では,すべてのノードが$O(\log(n))$ 近傍に連結され,$n$ がノードの総数であるようないわゆる指数グラフについて検討する。
この研究は、そのようなグラフが高速通信と効果的な平均化の両方を同時にもたらすことを証明している。
また、各ノードが反復ごとに1つの隣接ノードと通信する$\log(n)$ 1-peer指数グラフの列は、共に正確な平均化を達成することができる。
この好ましい性質により、1ピア指数グラフは静的グラフと同等に有効であるが、より効率的に通信できる。
我々は,これらの指数グラフを分散化(モーメント)sgdに応用し,文単位のコミュニケーションと一般に使用されるトポロジー間の反復複雑性との最先端のバランスを得る。
様々なタスクやモデルに関する実験結果は、指数グラフ上の分散(モメンタム)SGDが高速かつ高品質なトレーニングを約束することを示している。
私たちのコードはBlueFogを通じて実装され、https://github.com/Bluefog-Lib/NeurIPS2021-Exponential-Graphで利用可能です。
関連論文リスト
- Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。
グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。
本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
論文 参考訳（メタデータ） (2024-06-25T14:57:38Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Beyond Exponential Graph: Communication-Efficient Topologies for
Decentralized Learning via Finite-time Convergence [31.933103173481964]
高速なコンセンサス率と最小の最大度を組み合わせた新しいトポロジーを提案する。
Base-$(k + 1)$ Graph は指数グラフよりも高速収束率と通信効率の高い分散 SGD (DSGD) を提供する。
論文 参考訳（メタデータ） (2023-05-19T04:08:07Z) - Communication-Efficient Topologies for Decentralized Learning with
$O(1)$ Consensus Rate [35.698182247676414]
分散最適化は分散学習における新たなパラダイムであり、エージェントは中央サーバを使わずにピアツーピア通信によってネットワーク全体のソリューションを実現する。
エージェントの情報が混在する速度によって,ネットワーク全体のソリューションに到達するためのイテレーションの総数が影響を受けることを示す。
本稿では,(ほぼ)一定の等級とネットワークサイズに依存しないコンセンサス率を有する新しいトポロジであるEquiTopoを提案する。
論文 参考訳（メタデータ） (2022-10-14T15:02:01Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - BlueFog: Make Decentralized Algorithms Practical for Optimization and
Deep Learning [29.427785235669358]
分散アルゴリズムの単純かつ高性能な実装のためのピソンライブラリであるBlueFogを紹介する。
様々な通信操作の統一的な抽象化に基づいて、BlueFogは分散化されたアルゴリズムのスペクトルを実装するための直感的なインタフェースを提供する。
BlueFogは、非常に高いスループットに達し、最先端の分散ディープラーニングパッケージであるHorovodよりも1.2タイムのsim 1.8times$スピードアップを達成した。
論文 参考訳（メタデータ） (2021-11-08T06:06:39Z) - Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。
効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。
本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-05T22:06:23Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳（メタデータ） (2020-07-03T09:30:07Z) - Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。
モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。
本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-23T18:25:39Z) - Block-Approximated Exponential Random Graphs [77.4792558024487]
指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。
本稿では,非自明なERGに対する近似フレームワークを提案する。
我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
論文 参考訳（メタデータ） (2020-02-14T11:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。