論文の概要: Sparse-SignSGD with Majority Vote for Communication-Efficient Distributed Learning

• arxiv url: http://arxiv.org/abs/2302.07475v1
• Date: Wed, 15 Feb 2023 05:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 15:42:01.855803
• Title: Sparse-SignSGD with Majority Vote for Communication-Efficient Distributed Learning
• Title（参考訳）: sparse-signsgdによるコミュニケーション効率のよい分散学習
• Authors: Chanho Park and Namyoon Lee
• Abstract要約: $sf S3$GD-MVは通信効率の高い分散最適化アルゴリズムである。 通信コストを大幅に削減しつつ,SignSGDと同等の速度で収束することを示す。 これらの知見は、深層学習における通信効率の高い分散最適化のための有望なソリューションとして、$sf S3$GD-MVの可能性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 20.22227794319504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The training efficiency of complex deep learning models can be significantly improved through the use of distributed optimization. However, this process is often hindered by a large amount of communication cost between workers and a parameter server during iterations. To address this bottleneck, in this paper, we present a new communication-efficient algorithm that offers the synergistic benefits of both sparsification and sign quantization, called ${\sf S}^3$GD-MV. The workers in ${\sf S}^3$GD-MV select the top-$K$ magnitude components of their local gradient vector and only send the signs of these components to the server. The server then aggregates the signs and returns the results via a majority vote rule. Our analysis shows that, under certain mild conditions, ${\sf S}^3$GD-MV can converge at the same rate as signSGD while significantly reducing communication costs, if the sparsification parameter $K$ is properly chosen based on the number of workers and the size of the deep learning model. Experimental results using both independent and identically distributed (IID) and non-IID datasets demonstrate that the ${\sf S}^3$GD-MV attains higher accuracy than signSGD, significantly reducing communication costs. These findings highlight the potential of ${\sf S}^3$GD-MV as a promising solution for communication-efficient distributed optimization in deep learning.
• Abstract（参考訳）: 複雑なディープラーニングモデルのトレーニング効率は、分散最適化を用いることで大幅に向上することができる。 しかし、このプロセスは、イテレーション中にワーカとパラメータサーバ間の通信コストの増大によってしばしば妨げられる。 このボトルネックに対処するため,本稿では,${\sf S}^3$GD-MVと呼ばれるスカラー化と符号量子化の相乗効果を提供する通信効率のアルゴリズムを提案する。 {\sf s}^3$gd-mvの作業員は、ローカル勾配ベクトルの最上位の$k$マグニチュードのコンポーネントを選択し、これらのコンポーネントのサインをサーバに送信します。 その後、サーバはサインを集約し、多数決ルールで結果を返す。 分析の結果、ある穏やかな条件下では、${\sf S}^3$GD-MVは、労働者数とディープラーニングモデルのサイズに基づいて、疎化パラメータ$K$が適切に選択された場合、符号SGDと同じ速度で収束し、通信コストを大幅に削減できることがわかった。 Independent and samely distributed (IID) と non-IID の2つのデータセットを用いて実験した結果,${\sf S}^3$GD-MV が signSGD よりも精度が高く,通信コストが大幅に削減された。 これらの結果は、深層学習における通信効率の高い分散最適化のための有望なソリューションとして、${\sf S}^3$GD-MVの可能性を示している。

関連論文リスト

• FedScalar: A Communication efficient Federated Learning [0.0]
  フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T07:06:49Z)
• SignSGD with Federated Voting [69.06621279967865]
  SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。 我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。 連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。 提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
  論文  参考訳（メタデータ） (2024-03-25T02:32:43Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• OFedQIT: Communication-Efficient Online Federated Learning via Quantization and Intermittent Transmission [7.6058140480517356]
  オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。 本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。 分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T07:46:43Z)
• Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
  集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。 $varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。 この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
  論文  参考訳（メタデータ） (2021-10-24T04:03:00Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Variance Reduced Local SGD with Lower Communication Complexity [52.44473777232414]
  本稿では,通信の複雑さをさらに軽減するために,分散化ローカルSGDを提案する。 VRL-SGDは、労働者が同一でないデータセットにアクセスしても、通信の複雑さが低い$O(Tfrac12 Nfrac32)$で、エンフラーイテレーションのスピードアップを達成する。
  論文  参考訳（メタデータ） (2019-12-30T08:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。