論文の概要: Accelerating Energy-Efficient Federated Learning in Cell-Free Networks with Adaptive Quantization

• arxiv url: http://arxiv.org/abs/2412.20785v1
• Date: Mon, 30 Dec 2024 08:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:05:04.481812
• Title: Accelerating Energy-Efficient Federated Learning in Cell-Free Networks with Adaptive Quantization
• Title（参考訳）: 適応量子化を用いたセルフリーネットワークにおけるエネルギー効率の高いフェデレーション学習の高速化
• Authors: Afsaneh Mahmoudi, Ming Xiao, Emil Björnson,
• Abstract要約: フェデレートラーニング(FL)により、クライアントはローカルデータの代わりに学習パラメータを共有でき、通信オーバーヘッドを低減できる。 従来の無線ネットワークはFLでレイテンシの問題に直面している。 本稿では,クライアントサーバ間のシームレスな協調作業に最適化されたアップリンク電力割り当てを特徴とするエネルギー効率,低レイテンシFLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 45.99908087352264
• License:
• Abstract: Federated Learning (FL) enables clients to share learning parameters instead of local data, reducing communication overhead. Traditional wireless networks face latency challenges with FL. In contrast, Cell-Free Massive MIMO (CFmMIMO) can serve multiple clients on shared resources, boosting spectral efficiency and reducing latency for large-scale FL. However, clients' communication resource limitations can hinder the completion of the FL training. To address this challenge, we propose an energy-efficient, low-latency FL framework featuring optimized uplink power allocation for seamless client-server collaboration. Our framework employs an adaptive quantization scheme, dynamically adjusting bit allocation for local gradient updates to reduce communication costs. We formulate a joint optimization problem covering FL model updates, local iterations, and power allocation, solved using sequential quadratic programming (SQP) to balance energy and latency. Additionally, clients use the AdaDelta method for local FL model updates, enhancing local model convergence compared to standard SGD, and we provide a comprehensive analysis of FL convergence with AdaDelta local updates. Numerical results show that, within the same energy and latency budgets, our power allocation scheme outperforms the Dinkelbach and max-sum rate methods by increasing the test accuracy up to $7$\% and $19$\%, respectively. Moreover, for the three power allocation methods, our proposed quantization scheme outperforms AQUILA and LAQ by increasing test accuracy by up to $36$\% and $35$\%, respectively.
• Abstract（参考訳）: フェデレートラーニング(FL)により、クライアントはローカルデータの代わりに学習パラメータを共有でき、通信オーバーヘッドを低減できる。 従来の無線ネットワークはFLでレイテンシの問題に直面している。 対照的に、Cell-Free Massive MIMO (CFmMIMO) は共有リソース上で複数のクライアントにサービスを提供することができ、スペクトル効率を向上し、大規模FLのレイテンシを低減することができる。 しかし、クライアントの通信リソース制限は、FLトレーニングの完了を妨げる可能性がある。 この課題に対処するため、我々は、シームレスなクライアント-サーバ協調のために最適化されたアップリンク電力割り当てを特徴とするエネルギー効率、低レイテンシFLフレームワークを提案する。 我々のフレームワークは適応的な量子化方式を採用し、通信コストを削減するために局所勾配更新のためのビット割り当てを動的に調整する。 FLモデルの更新、局所的なイテレーション、電力配分を含む共同最適化問題を逐次2次計画法(SQP)を用いて解き、エネルギーとレイテンシのバランスをとる。 さらに、クライアントはAdaDelta法を局所的なFLモデル更新に使用し、標準的なSGDと比較して局所的なモデル収束を向上し、AdaDeltaの局所的な更新とFL収束を包括的に解析する。 数値計算の結果,同じエネルギーと遅延の予算内では,Dinkelbach と max-sum rate がそれぞれ 7$\% と $119$\% に向上し,電力割当方式は Dinkelbach と max-sum rate の手法より優れていた。 さらに, 提案手法は, AQUILA と LAQ をそれぞれ36$\% と35$\% の精度で上回る性能を示した。

関連論文リスト

• Joint Energy and Latency Optimization in Federated Learning over Cell-Free Massive MIMO Networks [36.6868658064971]
  Federated Learning(FL)は、ユーザが生のデータセットではなくサーバとFLモデルを交換する分散学習パラダイムである。 セルフリーの大規模マルチインプット多重出力(CFmMIMO)はFLを実装する上で有望なアーキテクチャである。 本稿では、各ユーザの電力が他のユーザのエネルギーとレイテンシに与える影響を考慮し、FLにおけるCFmMIMO上のアップリンク電力割り当て方式を提案する。
  論文  参考訳（メタデータ） (2024-04-28T19:24:58Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Joint Age-based Client Selection and Resource Allocation for Communication-Efficient Federated Learning over NOMA Networks [8.030674576024952]
  FL(Federated Learning)では、分散クライアントは、自身のトレーニングデータをローカルに保持しながら、共有グローバルモデルを共同でトレーニングすることができる。 本稿では,非直交多重アクセス(NOMA)を利用した無線ネットワーク上でのFLにおける各ラウンドの総時間消費を最小化することを目的とした,クライアント選択とリソース割り当ての協調最適化問題を定式化する。 さらに、各ラウンドで選択されていないクライアントのFLモデルを予測し、FL性能をさらに向上するために、サーバサイド人工知能ニューラルネットワーク(ANN)を提案する。
  論文  参考訳（メタデータ） (2023-04-18T13:58:16Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• FLSTRA: Federated Learning in Stratosphere [22.313423693397556]
  高度の高いプラットフォームステーションは、多くの地球上のクライアントが、トレーニングデータなしでグローバルなモデルを協調的に学習できるようにする。 我々は、FL遅延を最小限に抑えるために、アップリンクとダウンリンクのための共同クライアント選択とリソース割り当てアルゴリズムを開発した。 次に,その収束の上限を導出しながら,FLの精度を目標とする通信資源認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-01T00:52:55Z)
• Federated Learning with Flexible Control [30.65854375019346]
  フェデレートラーニング(FL)は、ユーザが収集したローカルデータから分散モデルトレーニングを可能にする。 制約のあるリソースと潜在的に高いダイナミクスを持つ分散システムでは、例えばモバイルエッジネットワークでは、FLの効率が重要な問題である。 フレキシブルに調整可能な複数のオプションを持つFLアルゴリズムであるFlexFLを提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:21:29Z)
• A-LAQ: Adaptive Lazily Aggregated Quantized Gradient [11.990047476303252]
  フェデレートラーニング(FL)は、クライアントに分散したデータで機械学習問題を解決する上で、重要な役割を果たす。 FLでは、クライアントとサーバ間のデータの通信オーバーヘッドを減らすため、各クライアントはローカルデータの代わりにローカルFLパラメータを通信する。 本稿では、FLイテレーション中に複数の通信ビットをアダプティブに割り当てることで、LAQを大幅に拡張するAdaptive Lazily Aggregated Quantized Gradient (A-LAQ)を提案する。
  論文  参考訳（メタデータ） (2022-10-31T16:59:58Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Convergence Time Optimization for Federated Learning over Wireless Networks [160.82696473996566]
  無線ユーザが(ローカル収集データを用いて訓練した)ローカルFLモデルを基地局(BS)に送信する無線ネットワークを考える。 中央コントローラとして機能するBSは、受信したローカルFLモデルを使用してグローバルFLモデルを生成し、それを全ユーザにブロードキャストする。 無線ネットワークにおけるリソースブロック(RB)の数が限られているため、ローカルFLモデルパラメータをBSに送信するために選択できるのは一部のユーザのみである。 各ユーザが独自のトレーニングデータサンプルを持っているため、BSは、収束したグローバルFLモデルを生成するために、すべてのローカルユーザFLモデルを含むことを好んでいる。
  論文  参考訳（メタデータ） (2020-01-22T01:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。