論文の概要: Communication-Efficient Federated Learning via Quantized Compressed Sensing

• arxiv url: http://arxiv.org/abs/2111.15071v1
• Date: Tue, 30 Nov 2021 02:13:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 16:22:37.727141
• Title: Communication-Efficient Federated Learning via Quantized Compressed Sensing
• Title（参考訳）: 量子圧縮センシングによるコミュニケーション効率の良いフェデレーション学習
• Authors: Yongjeong Oh, Namyoon Lee, Yo-Seb Jeon, and H. Vincent Poor
• Abstract要約: 提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
• 参考スコア（独自算出の注目度）: 82.10695943017907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a communication-efficient federated learning framework inspired by quantized compressed sensing. The presented framework consists of gradient compression for wireless devices and gradient reconstruction for a parameter server (PS). Our strategy for gradient compression is to sequentially perform block sparsification, dimensional reduction, and quantization. Thanks to gradient sparsification and quantization, our strategy can achieve a higher compression ratio than one-bit gradient compression. For accurate aggregation of the local gradients from the compressed signals at the PS, we put forth an approximate minimum mean square error (MMSE) approach for gradient reconstruction using the expectation-maximization generalized-approximate-message-passing (EM-GAMP) algorithm. Assuming Bernoulli Gaussian-mixture prior, this algorithm iteratively updates the posterior mean and variance of local gradients from the compressed signals. We also present a low-complexity approach for the gradient reconstruction. In this approach, we use the Bussgang theorem to aggregate local gradients from the compressed signals, then compute an approximate MMSE estimate of the aggregated gradient using the EM-GAMP algorithm. We also provide a convergence rate analysis of the presented framework. Using the MNIST dataset, we demonstrate that the presented framework achieves almost identical performance with the case that performs no compression, while significantly reducing communication overhead for federated learning.
• Abstract（参考訳）: 本稿では,量子化圧縮センシングに触発されたコミュニケーション効率の高い連合学習フレームワークを提案する。 提案フレームワークは,無線機器の勾配圧縮とパラメータサーバ(PS)の勾配再構成からなる。 勾配圧縮の戦略は,ブロックスパース化,次元縮小,量子化を順次行うことである。 勾配スパーシフィケーションと量子化により,1ビットの勾配圧縮よりも高い圧縮率を達成することができる。 psにおける圧縮信号からの局所勾配の正確な集計のために,期待最大化一般化近似メッセージパッシング (em-gamp) アルゴリズムを用いた近似最小平均二乗誤差 (mmse) 法を適用した。 このアルゴリズムはbernolli gaussian-mixture preを仮定し、圧縮信号からの局所勾配の後方平均と分散を反復的に更新する。 また, 勾配再構成のための低複雑度手法を提案する。 提案手法では, 圧縮信号から局所勾配を集約するBussgang定理を用いて, EM-GAMPアルゴリズムを用いて, 集約勾配の近似MMSE推定値を算出する。 また,提案フレームワークの収束速度解析も提供する。 MNISTデータセットを用いて,提案フレームワークは圧縮を行わない場合とほぼ同じ性能を達成し,フェデレート学習における通信オーバーヘッドを大幅に低減することを示した。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Efficient Wireless Federated Learning via Low-Rank Gradient Factorization [34.51800744978221]
  オーバー・ザ・エア・ローランク圧縮(Ota-LC)と呼ばれる新しいプロトコルは、計算コストが低く、通信オーバヘッドが低いことを示す。 例えば、Cifar-10データセットでテスト精度の70%を目標とする場合、Ota-LCはベンチマーク方式と比較して、通信コストを少なくとも33%削減する。
  論文  参考訳（メタデータ） (2024-01-15T06:30:06Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Federated Optimization Algorithms with Random Reshuffling and Gradient Compression [2.7554288121906296]
  勾配圧縮法と非置換サンプリング法を初めて解析する。 制御イテレートを用いて勾配量子化から生じる分散を減少させる方法を示す。 既存のアルゴリズムを改善するいくつかの設定について概説する。
  論文  参考訳（メタデータ） (2022-06-14T17:36:47Z)
• Communication-Efficient Distributed SGD with Compressed Sensing [24.33697801661053]
  中央サーバに接続されたエッジデバイスの集合に対する大規模分散最適化について検討する。 近年のフェデレート学習の進歩に触発されて,通信負担を軽減するために,分散勾配降下(SGD)型アルゴリズムを提案する。 我々は,通信チャネルによって発生する雑音摂動の存在下でのアルゴリズムの収束に関する理論的解析を行い,その効果を裏付ける数値実験を行う。
  論文  参考訳（メタデータ） (2021-12-15T02:10:45Z)
• Wyner-Ziv Gradient Compression for Federated Learning [4.619828919345114]
  グラディエント圧縮は, 圧縮勾配を伝送することで通信負荷を低減する効果的な方法である。 本稿では、歴史的勾配を用いて勾配を圧縮するフェデレート学習のための実用的な勾配圧縮手法を提案する。 また、実際のデータセットに勾配量子化法を実装し、提案手法の性能は従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-11-16T07:55:43Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。