論文の概要: Asynchronous Federated Learning with Bidirectional Quantized
Communications and Buffered Aggregation
- arxiv url: http://arxiv.org/abs/2308.00263v1
- Date: Tue, 1 Aug 2023 03:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 15:30:49.906437
- Title: Asynchronous Federated Learning with Bidirectional Quantized
Communications and Buffered Aggregation
- Title(参考訳): 双方向量子通信とバッファ集約による非同期フェデレーション学習
- Authors: Tomas Ortega, Hamid Jafarkhani
- Abstract要約: Asynchronous Federated Learning with Buffered Aggregation (FedBuff)は、その効率性と高いスケーラビリティで知られている最先端のアルゴリズムである。
直接量子化によるエラー伝搬を回避するために,サーバとクライアント間で共有された"隠れ"状態を確立する量子化スキームを備えた新しいアルゴリズム(QAFeL)を提案する。
- 参考スコア(独自算出の注目度): 39.057968279167966
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Asynchronous Federated Learning with Buffered Aggregation (FedBuff) is a
state-of-the-art algorithm known for its efficiency and high scalability.
However, it has a high communication cost, which has not been examined with
quantized communications. To tackle this problem, we present a new algorithm
(QAFeL), with a quantization scheme that establishes a shared "hidden" state
between the server and clients to avoid the error propagation caused by direct
quantization. This approach allows for high precision while significantly
reducing the data transmitted during client-server interactions. We provide
theoretical convergence guarantees for QAFeL and corroborate our analysis with
experiments on a standard benchmark.
- Abstract(参考訳): Asynchronous Federated Learning with Buffered Aggregation (FedBuff)は、その効率性と高いスケーラビリティで知られている最先端のアルゴリズムである。
しかし,量子化通信では検討されていない通信コストが高い。
この問題に対処するために,我々は,サーバとクライアントの間で共有された"隠れ"状態を確立し,直接量子化によるエラー伝播を回避する量子化スキームを用いた新しいアルゴリズム(qafel)を提案する。
このアプローチは、クライアントとサーバのインタラクション中に送信されるデータを著しく削減しながら、高い精度を実現する。
我々はQAFeLの理論的収束保証を提供し、標準ベンチマークの実験で分析を裏付ける。
関連論文リスト
- Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。
FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。
本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文 参考訳(メタデータ) (2023-06-28T18:52:27Z) - Unbounded Gradients in Federated Leaning with Buffered Asynchronous
Aggregation [0.6526824510982799]
textitFedBuffアルゴリズムは、セキュアなアグリゲーションを通じてプライバシを保持しながら非同期更新を可能にする。
本稿では,データの不均一性,バッチサイズ,遅延を考慮したアルゴリズムの収束率に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-10-03T18:20:48Z) - Communication-Efficient Federated Learning With Data and Client
Heterogeneity [22.432529149142976]
Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。
FLを大規模に実行するには、本質的に実践的な課題が伴う。
従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
論文 参考訳(メタデータ) (2022-06-20T22:39:39Z) - OFedQIT: Communication-Efficient Online Federated Learning via
Quantization and Intermittent Transmission [7.6058140480517356]
オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。
本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。
分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
論文 参考訳(メタデータ) (2022-05-13T07:46:43Z) - Wireless Quantized Federated Learning: A Joint Computation and
Communication Design [36.35684767732552]
本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。
グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
論文 参考訳(メタデータ) (2022-03-11T12:30:08Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳(メタデータ) (2021-06-10T04:21:20Z) - Adaptive Quantization of Model Updates for Communication-Efficient
Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。
グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。
通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文 参考訳(メタデータ) (2021-02-08T19:14:21Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - A Unified Linear Speedup Analysis of Federated Averaging and Nesterov
FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。
本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。
また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文 参考訳(メタデータ) (2020-07-11T05:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。