論文の概要: Design and Analysis of Uplink and Downlink Communications for Federated Learning

• arxiv url: http://arxiv.org/abs/2012.04057v1
• Date: Mon, 7 Dec 2020 21:01:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 20:45:09.694269
• Title: Design and Analysis of Uplink and Downlink Communications for Federated Learning
• Title（参考訳）: フェデレーション学習のためのアップリンク・ダウンリンク通信の設計と解析
• Authors: Sihui Zheng, Cong Shen, Xiang Chen
• Abstract要約: コミュニケーションは、連合学習(fl)の主要なボトルネックの1つとして知られている。 無線flの物理層量子化および伝送方式の設計と解析に着目する。
• 参考スコア（独自算出の注目度）: 18.634770589573733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication has been known to be one of the primary bottlenecks of federated learning (FL), and yet existing studies have not addressed the efficient communication design, particularly in wireless FL where both uplink and downlink communications have to be considered. In this paper, we focus on the design and analysis of physical layer quantization and transmission methods for wireless FL. We answer the question of what and how to communicate between clients and the parameter server and evaluate the impact of the various quantization and transmission options of the updated model on the learning performance. We provide new convergence analysis of the well-known FedAvg under non-i.i.d. dataset distributions, partial clients participation, and finite-precision quantization in uplink and downlink communications. These analyses reveal that, in order to achieve an O(1/T) convergence rate with quantization, transmitting the weight requires increasing the quantization level at a logarithmic rate, while transmitting the weight differential can keep a constant quantization level. Comprehensive numerical evaluation on various real-world datasets reveals that the benefit of a FL-tailored uplink and downlink communication design is enormous - a carefully designed quantization and transmission achieves more than 98% of the floating-point baseline accuracy with fewer than 10% of the baseline bandwidth, for majority of the experiments on both i.i.d. and non-i.i.d. datasets. In particular, 1-bit quantization (3.1% of the floating-point baseline bandwidth) achieves 99.8% of the floating-point baseline accuracy at almost the same convergence rate on MNIST, representing the best known bandwidth-accuracy tradeoff to the best of the authors' knowledge.
• Abstract（参考訳）: コミュニケーションは連合学習(federated learning, fl)の主要なボトルネックの1つとして知られているが、既存の研究は効率的な通信設計には対処していない。 本稿では,無線FLの物理層量子化と伝送方式の設計と解析に焦点をあてる。 本稿では、クライアントとパラメータサーバ間の通信方法と方法に関する質問に答え、更新モデルの様々な量子化と伝達オプションが学習性能に与える影響を評価する。 非i.d.の下でよく知られたFedAvgの新しい収束解析を提供する。 アップリンクおよびダウンリンク通信におけるデータセット分布、部分クライアント参加、有限精度量子化。 これらの分析により, 量子化を伴うo(1/t)収束率を達成するためには, 重みの伝達は対数率で量子化レベルを増加させる必要があるが, 重み微分の伝達は一定の量子化レベルを維持することができることが明らかとなった。 様々な実世界のデータセットに関する総合的な数値評価により、flで調整されたアップリンクとダウンリンクの通信設計の利点は膨大であることが判明した。注意深く設計された量子化と伝送は、ベースライン帯域の10%未満で浮動小数点ベースライン精度の98%以上を達成する。 および非i.d. データセット。 特に、1ビット量子化(浮動小数点ベースライン帯域幅の3.1%)は、mnistのほぼ同じ収束率で浮動小数点ベースライン精度の99.8%を達成する。

関連論文リスト

• Rate-Constrained Quantization for Communication-Efficient Federated Learning [5.632231145349047]
  我々はtextbfrate-textbfconstrained textbffederated Learning (RC-FED) と呼ばれる新しい量子化FLフレームワークを開発した。 我々は、符号化された勾配の速度を目標閾値以下に保ちながら、量子化歪みを最小限に抑える共同最適化として、このスキームを定式化する。 RC-FEDの収束挙動を解析し,いくつかのデータセット上でのベースライン量子化FLスキームに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-10T08:22:01Z)
• FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization [11.673528138087244]
  Federated Learning(FL)は、クライアントのデータプライバシを保護すると同時に、クライアントのデータと計算リソースを活用する強力な機械学習パラダイムである。 従来の研究は主にアップリンク通信に重点を置いており、固定ビット量子化法や適応量子化法を用いている。 本研究では,通信オーバヘッドを低減するために,結合アップリンクとダウンリンク適応量子化による包括的アプローチを導入する。
  論文  参考訳（メタデータ） (2024-06-26T08:14:23Z)
• Federated Quantum Long Short-term Memory (FedQLSTM) [58.50321380769256]
  量子フェデレーション学習(QFL)は、量子機械学習(QML)モデルを使用して、複数のクライアント間の協調学習を容易にする。 関数の近似に時間的データを利用するQFLフレームワークの開発に前向きな作業は行われていない。 量子長短期メモリ(QLSTM)モデルと時間データを統合する新しいQFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-21T21:40:47Z)
• Scaling Limits of Quantum Repeater Networks [62.75241407271626]
  量子ネットワーク(QN)は、セキュアな通信、強化されたセンシング、効率的な分散量子コンピューティングのための有望なプラットフォームである。 量子状態の脆弱な性質のため、これらのネットワークはスケーラビリティの観点から大きな課題に直面している。 本稿では,量子リピータネットワーク(QRN)のスケーリング限界について解析する。
  論文  参考訳（メタデータ） (2023-05-15T14:57:01Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• Wireless Quantized Federated Learning: A Joint Computation and Communication Design [36.35684767732552]
  本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。 グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
  論文  参考訳（メタデータ） (2022-03-11T12:30:08Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。