論文の概要: Wireless Quantized Federated Learning: A Joint Computation and Communication Design

• arxiv url: http://arxiv.org/abs/2203.05878v1
• Date: Fri, 11 Mar 2022 12:30:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 17:00:47.181853
• Title: Wireless Quantized Federated Learning: A Joint Computation and Communication Design
• Title（参考訳）: ワイヤレス量子化フェデレーション学習 : 共同計算とコミュニケーション設計
• Authors: Pavlos S. Bouzinis, Panagiotis D. Diamantoulakis, and George K. Karagiannidis
• Abstract要約: 本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。 グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
• 参考スコア（独自算出の注目度）: 36.35684767732552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, federated learning (FL) has sparked widespread attention as a promising decentralized machine learning approach which provides privacy and low delay. However, communication bottleneck still constitutes an issue, that needs to be resolved for an efficient deployment of FL over wireless networks. In this paper, we aim to minimize the total convergence time of FL, by quantizing the local model parameters prior to uplink transmission. More specifically, the convergence analysis of the FL algorithm with stochastic quantization is firstly presented, which reveals the impact of the quantization error on the convergence rate. Following that, we jointly optimize the computing, communication resources and number of quantization bits, in order to guarantee minimized convergence time across all global rounds, subject to energy and quantization error requirements, which stem from the convergence analysis. The impact of the quantization error on the convergence time is evaluated and the trade-off among model accuracy and timely execution is revealed. Moreover, the proposed method is shown to result in faster convergence in comparison with baseline schemes. Finally, useful insights for the selection of the quantization error tolerance are provided.
• Abstract（参考訳）: 近年、フェデレーテッド・ラーニング(FL)は、プライバシーと低遅延を提供する有望な分散型機械学習アプローチとして広く注目を集めている。 しかし、無線ネットワーク上でのFLの効率的な展開のためには、通信ボトルネックが依然として問題となっている。 本稿では,アップリンク伝送前の局所モデルパラメータを定量化することにより,FLの総収束時間を最小化する。 より具体的には、確率量子化を伴うflアルゴリズムの収束解析を最初に提示し、量子化誤差が収束率に与える影響を明らかにする。 続いて,計算,通信資源,量子化ビットの数を共同で最適化し,収束解析に起因したエネルギー・量子化誤差要件を前提とした全グローバルラウンドにおける最小収束時間を保証する。 収束時間に対する量子化誤差の影響を評価し、モデル精度と時間的実行の間のトレードオフを明らかにする。 さらに,提案手法は,ベースラインスキームと比較してより高速に収束することを示す。 最後に、量子化誤差許容度の選択に有用な知見を提供する。

関連論文リスト

• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Asynchronous Federated Learning with Bidirectional Quantized Communications and Buffered Aggregation [39.057968279167966]
  Asynchronous Federated Learning with Buffered Aggregation (FedBuff)は、その効率性と高いスケーラビリティで知られている最先端のアルゴリズムである。 直接量子化によるエラー伝搬を回避するために,サーバとクライアント間で共有された"隠れ"状態を確立する量子化スキームを備えた新しいアルゴリズム(QAFeL)を提案する。
  論文  参考訳（メタデータ） (2023-08-01T03:50:58Z)
• Optimal Privacy Preserving for Federated Learning in Mobile Edge Computing [35.57643489979182]
  ユーザ差分プライバシ(DP)を維持するための有望なアプローチとして,無線ネットワーク上での定量化と意図的なノイズ付加によるフェデレーション学習(FL)がある。 本稿では,無線ネットワークとDP要件の制約下での収束率を最大化するために,量子化と二項機構パラメータと通信資源を協調的に最適化することを目的とする。
  論文  参考訳（メタデータ） (2022-11-14T07:54:14Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
  無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。 提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
  論文  参考訳（メタデータ） (2022-04-26T16:37:29Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Design and Analysis of Uplink and Downlink Communications for Federated Learning [18.634770589573733]
  コミュニケーションは、連合学習(fl)の主要なボトルネックの1つとして知られている。 無線flの物理層量子化および伝送方式の設計と解析に着目する。
  論文  参考訳（メタデータ） (2020-12-07T21:01:11Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。