論文の概要: FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization
- arxiv url: http://arxiv.org/abs/2406.18156v1
- Date: Wed, 26 Jun 2024 08:14:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 14:08:51.643824
- Title: FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization
- Title（参考訳）: FedAQ: 結合アップリンクとダウンリンク適応量子化によるコミュニケーション効率の良いフェデレーションエッジ学習
- Authors: Linping Qu, Shenghui Song, Chi-Ying Tsui,
- Abstract要約: Federated Learning(FL)は、クライアントのデータプライバシを保護すると同時に、クライアントのデータと計算リソースを活用する強力な機械学習パラダイムである。
従来の研究は主にアップリンク通信に重点を置いており、固定ビット量子化法や適応量子化法を用いている。
本研究では,通信オーバヘッドを低減するために,結合アップリンクとダウンリンク適応量子化による包括的アプローチを導入する。
- 参考スコア（独自算出の注目度）: 11.673528138087244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a powerful machine learning paradigm which leverages the data as well as the computational resources of clients, while protecting clients' data privacy. However, the substantial model size and frequent aggregation between the server and clients result in significant communication overhead, making it challenging to deploy FL in resource-limited wireless networks. In this work, we aim to mitigate the communication overhead by using quantization. Previous research on quantization has primarily focused on the uplink communication, employing either fixed-bit quantization or adaptive quantization methods. In this work, we introduce a holistic approach by joint uplink and downlink adaptive quantization to reduce the communication overhead. In particular, we optimize the learning convergence by determining the optimal uplink and downlink quantization bit-length, with a communication energy constraint. Theoretical analysis shows that the optimal quantization levels depend on the range of model gradients or weights. Based on this insight, we propose a decreasing-trend quantization for the uplink and an increasing-trend quantization for the downlink, which aligns with the change of the model parameters during the training process. Experimental results show that, the proposed joint uplink and downlink adaptive quantization strategy can save up to 66.7% energy compared with the existing schemes.
- Abstract（参考訳）: Federated Learning(FL)は、クライアントのデータプライバシを保護すると同時に、クライアントのデータと計算リソースを活用する強力な機械学習パラダイムである。
しかし、サーバとクライアント間のモデルサイズと頻繁な集約は、通信オーバーヘッドの増大をもたらし、リソース制限の無線ネットワークにFLをデプロイすることは困難である。
本研究では,量子化を用いて通信オーバーヘッドを軽減することを目的とする。
量子化に関するこれまでの研究は、主にアップリンク通信に焦点を当てており、固定ビット量子化法または適応量子化法を用いている。
本研究では,通信オーバヘッドを低減するために,結合アップリンクとダウンリンク適応量子化による包括的アプローチを導入する。
特に,通信エネルギーの制約により,最適なアップリンク量子化ビット長とダウンリンク量子化ビット長を決定することにより,学習収束を最適化する。
理論的解析は、最適量子化レベルがモデル勾配や重みの範囲に依存することを示している。
この知見に基づいて、アップリンクの減少トレンド量子化と、ダウンリンクの増大トレンド量子化を提案し、トレーニング過程におけるモデルパラメータの変化と整合する。
実験の結果,提案した結合アップリンクとダウンリンク適応量子化戦略は,既存のスキームと比較して最大66.7%のエネルギーを節約できることがわかった。
関連論文リスト
- Clipped Uniform Quantizers for Communication-Efficient Federated Learning [3.38220960870904]
本稿では,フェデレート学習環境における一様量子化手法を提案する。
最適クリッピングしきい値と適応量子化スキームを用いることで、モデル重み伝達のビット要求を著しく削減する。
論文 参考訳（メタデータ） (2024-05-22T05:48:25Z) - Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳（メタデータ） (2024-01-25T14:49:15Z) - Entangled Pair Resource Allocation under Uncertain Fidelity Requirements [59.83361663430336]
量子ネットワークにおいて、効果的な絡み合いルーティングは、量子ソースと量子宛先ノード間の通信を容易にする。
本稿では,絡み合ったペアに対する資源配分モデルと,整合性保証を伴う絡み合ったルーティングモデルを提案する。
提案モデルでは, ベースラインモデルと比較して, 総コストを少なくとも20%削減できる。
論文 参考訳（メタデータ） (2023-04-10T07:16:51Z) - Fundamental Limits of Communication Efficiency for Model Aggregation in
Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。
SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文 参考訳（メタデータ） (2022-06-28T13:10:40Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - FedDQ: Communication-Efficient Federated Learning with Descending
Quantization [5.881154276623056]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のための分散ラーニングスキームである。
FLは、大きなモデルサイズと頻繁なモデルアグリゲーションによって、重要な通信ボトルネックに悩まされる。
本稿では適応的な量子化を行うための反対のアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-05T18:56:28Z) - Entanglement Rate Optimization in Heterogeneous Quantum Communication
Networks [79.8886946157912]
量子通信ネットワークは、将来6G以降の通信ネットワークにおいて重要な構成要素となる可能性のある、有望な技術として登場しつつある。
近年の進歩は、実際の量子ハードウェアによる小規模および大規模量子通信ネットワークの展開に繋がった。
量子ネットワークにおいて、絡み合いは異なるノード間でのデータ転送を可能にする鍵となるリソースである。
論文 参考訳（メタデータ） (2021-05-30T11:34:23Z) - Adaptive Quantization of Model Updates for Communication-Efficient
Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。
グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。
通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文 参考訳（メタデータ） (2021-02-08T19:14:21Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Design and Analysis of Uplink and Downlink Communications for Federated
Learning [18.634770589573733]
コミュニケーションは、連合学習(fl)の主要なボトルネックの1つとして知られている。
無線flの物理層量子化および伝送方式の設計と解析に着目する。
論文 参考訳（メタデータ） (2020-12-07T21:01:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。