論文の概要: Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design

• arxiv url: http://arxiv.org/abs/2207.09387v1
• Date: Tue, 19 Jul 2022 16:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 14:13:39.069423
• Title: Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design
• Title（参考訳）: 無線ネットワーク上でのグリーンな量子化フェデレーション学習:エネルギー効率の良い設計
• Authors: Minsu Kim, Walid Saad, Mohammad Mozaffari, Merouane Debbah
• Abstract要約: 有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大52%削減できる。
• 参考スコア（独自算出の注目度）: 68.86220939532373
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, a green, quantized FL framework, which represents data with a finite precision level in both local training and uplink transmission, is proposed. Here, the finite precision level is captured through the use of quantized neural networks (QNNs) that quantize weights and activations in fixed-precision format. In the considered FL model, each device trains its QNN and transmits a quantized training result to the base station. Energy models for the local training and the transmission with quantization are rigorously derived. To minimize the energy consumption and the number of communication rounds simultaneously, a multi-objective optimization problem is formulated with respect to the number of local iterations, the number of selected devices, and the precision levels for both local training and transmission while ensuring convergence under a target accuracy constraint. To solve this problem, the convergence rate of the proposed FL system is analytically derived with respect to the system control variables. Then, the Pareto boundary of the problem is characterized to provide efficient solutions using the normal boundary inspection method. Design insights on balancing the tradeoff between the two objectives are drawn from using the Nash bargaining solution and analyzing the derived convergence rate. Simulation results show that the proposed FL framework can reduce energy consumption until convergence by up to 52% compared to a baseline FL algorithm that represents data with full precision.
• Abstract（参考訳）: 本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限精度のデータを表現したグリーン量子化FLフレームワークを提案する。 ここでは、有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用してキャプチャされる。 検討されたFLモデルでは、各デバイスがQNNを訓練し、量子化されたトレーニング結果を基地局に送信する。 局所学習のためのエネルギーモデルと量子化を伴う伝達は厳格に導出される。 エネルギー消費と通信ラウンドの数を同時に最小化するため、目標精度制約の下で収束を確保しつつ、局所的なイテレーション数、選択されたデバイス数、ローカルトレーニングと送信の両方の精度レベルについて多目的最適化問題を定式化する。 この問題を解決するために,提案するFLシステムの収束速度をシステム制御変数に対して解析的に導出する。 そこで, 問題のパレート境界は, 正規境界検査法を用いて効率的な解を提供する。 2つの目的間のトレードオフのバランスに関する設計洞察は、nash交渉解を用いて導出された収束率の解析から得られる。 シミュレーションの結果,提案するFLフレームワークは,全精度でデータを表すベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大52%削減できることがわかった。

関連論文リスト

• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Scaling Limits of Quantum Repeater Networks [62.75241407271626]
  量子ネットワーク(QN)は、セキュアな通信、強化されたセンシング、効率的な分散量子コンピューティングのための有望なプラットフォームである。 量子状態の脆弱な性質のため、これらのネットワークはスケーラビリティの観点から大きな課題に直面している。 本稿では,量子リピータネットワーク(QRN)のスケーリング限界について解析する。
  論文  参考訳（メタデータ） (2023-05-15T14:57:01Z)
• Optimal Privacy Preserving for Federated Learning in Mobile Edge Computing [35.57643489979182]
  ユーザ差分プライバシ(DP)を維持するための有望なアプローチとして,無線ネットワーク上での定量化と意図的なノイズ付加によるフェデレーション学習(FL)がある。 本稿では,無線ネットワークとDP要件の制約下での収束率を最大化するために,量子化と二項機構パラメータと通信資源を協調的に最適化することを目的とする。
  論文  参考訳（メタデータ） (2022-11-14T07:54:14Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Wireless Quantized Federated Learning: A Joint Computation and Communication Design [36.35684767732552]
  本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。 グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
  論文  参考訳（メタデータ） (2022-03-11T12:30:08Z)
• On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks [68.52621234990728]
  無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。 本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。 我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
  論文  参考訳（メタデータ） (2021-11-15T17:00:03Z)
• Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
  Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
  論文  参考訳（メタデータ） (2021-04-26T02:45:10Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。