論文の概要: Moniqua: Modulo Quantized Communication in Decentralized SGD

• arxiv url: http://arxiv.org/abs/2002.11787v3
• Date: Tue, 30 Jun 2020 04:12:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 14:24:51.626521
• Title: Moniqua: Modulo Quantized Communication in Decentralized SGD
• Title（参考訳）: Moniqua: 分散SGDにおけるモジュール量子通信
• Authors: Yucheng Lu and Christopher De Sa
• Abstract要約: Moniquaは、分散化されたアルゴリズムが量子化された通信を使用することを可能にする技術である。 我々は,Moniquaが他の量子化された分散アルゴリズムよりもウォールクロック時間に早く収束することを示す。
• 参考スコア（独自算出の注目度）: 45.468216452357375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Running Stochastic Gradient Descent (SGD) in a decentralized fashion has shown promising results. In this paper we propose Moniqua, a technique that allows decentralized SGD to use quantized communication. We prove in theory that Moniqua communicates a provably bounded number of bits per iteration, while converging at the same asymptotic rate as the original algorithm does with full-precision communication. Moniqua improves upon prior works in that it (1) requires zero additional memory, (2) works with 1-bit quantization, and (3) is applicable to a variety of decentralized algorithms. We demonstrate empirically that Moniqua converges faster with respect to wall clock time than other quantized decentralized algorithms. We also show that Moniqua is robust to very low bit-budgets, allowing 1-bit-per-parameter communication without compromising validation accuracy when training ResNet20 and ResNet110 on CIFAR10.
• Abstract（参考訳）: Stochastic Gradient Descent (SGD) を分散的に実行することは、有望な結果を示している。 本稿では,分散SGDが量子通信を利用できる手法であるMoniquaを提案する。 理論上、モニクアは、元のアルゴリズムが完全精度の通信を行うのと同じ漸近速度で収束しながら、繰り返し毎に証明可能な有界なビット数を伝えることを証明している。 moniquaは(1)追加のメモリを必要とせず、(2)1ビットの量子化で動作し、(3)様々な分散アルゴリズムに適用できるという以前の作業を改善する。 数値化分散アルゴリズムに比べて壁時計時間に関して,moniquaはより高速に収束することを示す。 また,ResNet20 と ResNet110 を CIFAR10 上でトレーニングする際の検証精度を損なうことなく,1ビット毎の通信が可能となる。

関連論文リスト

• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• DIGEST: Fast and Communication Efficient Decentralized Learning with Local Updates [4.3707341422218215]
  広く検討されている分散学習アルゴリズムは、Gossipとランダムウォークベースの学習である。 高速で通信効率のよい非同期分散学習機構DIGESTを設計する。 我々は、ロジスティック回帰とディープニューラルネットワークResNet20のためのシングルストリームおよびマルチストリームDIGESTの性能を評価する。
  論文  参考訳（メタデータ） (2023-07-14T22:58:20Z)
• $\textbf{A}^2\textbf{CiD}^2$: Accelerating Asynchronous Communication in Decentralized Deep Learning [0.0]
  このアルゴリズムは、$textbfA2textbfCiD2$という連続的な局所運動量のおかげで動作する。 我々の理論解析は、以前の非同期分散ベースラインと比較して加速速度を証明している。 我々は、最大64の非同期ワーカーを使用して、ImageNetデータセットに一貫した改善を示す。
  論文  参考訳（メタデータ） (2023-06-14T06:52:07Z)
• Communication-Efficient Topologies for Decentralized Learning with $O(1)$ Consensus Rate [35.698182247676414]
  分散最適化は分散学習における新たなパラダイムであり、エージェントは中央サーバを使わずにピアツーピア通信によってネットワーク全体のソリューションを実現する。 エージェントの情報が混在する速度によって,ネットワーク全体のソリューションに到達するためのイテレーションの総数が影響を受けることを示す。 本稿では,(ほぼ)一定の等級とネットワークサイズに依存しないコンセンサス率を有する新しいトポロジであるEquiTopoを提案する。
  論文  参考訳（メタデータ） (2022-10-14T15:02:01Z)
• QuTE: decentralized multiple testing on sensor networks with false discovery rate control [130.7122910646076]
  本稿では、偽発見率(FDR)の証明可能な保証を備えたグラフ上での分散多重仮説検定法を設計する。 異なるエージェントが無向グラフのノードに存在し、各エージェントはそのノードに局所的な1つ以上の仮説に対応するp値を持つ。 各エージェントは、グラフ全体の大域的FDRが予め定義されたレベルで制御されなければならないという共同目的のもと、隣人とのみ通信することで、それぞれのローカル仮説の1つ以上の拒絶を個別に決めなければならない。
  論文  参考訳（メタデータ） (2022-10-09T19:48:39Z)
• Maximizing Communication Efficiency for Large-scale Training via 0/1 Adam [49.426602335460295]
  1ビット通信はモデルトレーニングのスケールアップに有効な手法であり、SGDで広く研究されている。 我々は2つの新しい手法により最先端の1ビットAdamを改善する0/1Adamを提案する。
  論文  参考訳（メタデータ） (2022-02-12T08:02:23Z)
• Sample and Communication-Efficient Decentralized Actor-Critic Algorithms with Finite-Time Analysis [27.21581944906418]
  Actor-critic (AC)アルゴリズムは分散マルチエージェントシステムで広く採用されている。 我々は、プライベートでサンプルと通信効率のよい2つの分散ACと自然交流(NAC)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-08T15:02:21Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。