論文の概要: Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks

• arxiv url: http://arxiv.org/abs/2209.10200v1
• Date: Wed, 21 Sep 2022 08:52:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 16:54:01.335648
• Title: Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks
• Title（参考訳）: 無線ネットワークにおける可変ビット幅フェデレーション学習の性能最適化
• Authors: Sihua Wang and Mingzhe Chen and Christopher G. Brinton and Changchuan Yin and Walid Saad and Shuguang Cui
• Abstract要約: 本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FLスキームでは、エッジデバイスがローカルFLモデルパラメータの量子化バージョンを調整し、コーディネートサーバに送信する。 目的は、局所的なFLモデルの量子化に使用されるビット幅と、各イテレーションでFLトレーニングに参加するデバイスセットを共同で決定することである。
• 参考スコア（独自算出の注目度）: 103.22651843174471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers improving wireless communication and computation efficiency in federated learning (FL) via model quantization. In the proposed bitwidth FL scheme, edge devices train and transmit quantized versions of their local FL model parameters to a coordinating server, which, in turn, aggregates them into a quantized global model and synchronizes the devices. The goal is to jointly determine the bitwidths employed for local FL model quantization and the set of devices participating in FL training at each iteration. This problem is posed as an optimization problem whose goal is to minimize the training loss of quantized FL under a per-iteration device sampling budget and delay requirement. To derive the solution, an analytical characterization is performed in order to show how the limited wireless resources and induced quantization errors affect the performance of the proposed FL method. The analytical results show that the improvement of FL training loss between two consecutive iterations depends on the device selection and quantization scheme as well as on several parameters inherent to the model being learned. Given linear regression-based estimates of these model properties, it is shown that the FL training process can be described as a Markov decision process (MDP), and, then, a model-based reinforcement learning (RL) method is proposed to optimize action selection over iterations. Compared to model-free RL, this model-based RL approach leverages the derived mathematical characterization of the FL training process to discover an effective device selection and quantization scheme without imposing additional device communication overhead. Simulation results show that the proposed FL algorithm can reduce 29% and 63% convergence time compared to a model free RL method and the standard FL method, respectively.
• Abstract（参考訳）: 本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では、エッジデバイスは、ローカルFLモデルパラメータの量子化されたバージョンをコーディネートサーバにトレーニングし、送信し、それらを量子化されたグローバルモデルに集約し、デバイスを同期させる。 目標は、ローカルflモデルの量子化に使用されるビット幅と、各イテレーションでflトレーニングに参加するデバイスの集合を共同で決定することである。 この問題は, 定量化FLのトレーニング損失を最小限に抑えることを目的とした最適化問題として提案される。 提案手法を導出するために,無線リソースの制限と量子化誤差がFL法の性能にどのように影響するかを示すため,解析的特徴付けを行う。 分析の結果,連続する2つのイテレーション間のflトレーニングロスの改善は,デバイス選択と量子化のスキームと,学習対象モデルに固有のパラメータに依存することがわかった。 これらのモデル特性の線形回帰に基づく推定を仮定すると、fl訓練過程はマルコフ決定過程(mdp)として記述でき、その上でモデルベース強化学習(rl)法が反復よりも行動選択を最適化するために提案されている。 モデルフリーRLと比較して、このモデルベースRLアプローチは、FLトレーニングプロセスの導出した数学的特徴を利用して、追加のデバイス通信オーバーヘッドを伴わずに効果的なデバイス選択と量子化スキームを発見する。 シミュレーションの結果,提案アルゴリズムはモデル自由RL法と標準FL法と比較して29%,63%の収束時間を短縮できることがわかった。

関連論文リスト

• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)
• Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
  Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。 本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
  論文  参考訳（メタデータ） (2021-04-08T03:38:31Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。