論文の概要: Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks
- arxiv url: http://arxiv.org/abs/2209.10200v3
- Date: Tue, 11 Jul 2023 02:06:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 19:18:16.323492
- Title: Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks
- Title（参考訳）: 無線ネットワークにおける可変ビット幅フェデレーション学習の性能最適化
- Authors: Sihua Wang and Mingzhe Chen and Christopher G. Brinton and Changchuan
Yin and Walid Saad and Shuguang Cui
- Abstract要約: 本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
- 参考スコア（独自算出の注目度）: 103.22651843174471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers improving wireless communication and computation
efficiency in federated learning (FL) via model quantization. In the proposed
bitwidth FL scheme, edge devices train and transmit quantized versions of their
local FL model parameters to a coordinating server, which aggregates them into
a quantized global model and synchronizes the devices. The goal is to jointly
determine the bitwidths employed for local FL model quantization and the set of
devices participating in FL training at each iteration. We pose this as an
optimization problem that aims to minimize the training loss of quantized FL
under a per-iteration device sampling budget and delay requirement. However,
the formulated problem is difficult to solve without (i) a concrete
understanding of how quantization impacts global ML performance and (ii) the
ability of the server to construct estimates of this process efficiently. To
address the first challenge, we analytically characterize how limited wireless
resources and induced quantization errors affect the performance of the
proposed FL method. Our results quantify how the improvement of FL training
loss between two consecutive iterations depends on the device selection and
quantization scheme as well as on several parameters inherent to the model
being learned. Then, we show that the FL training process can be described as a
Markov decision process and propose a model-based reinforcement learning (RL)
method to optimize action selection over iterations. Compared to model-free RL,
this model-based RL approach leverages the derived mathematical
characterization of the FL training process to discover an effective device
selection and quantization scheme without imposing additional device
communication overhead. Simulation results show that the proposed FL algorithm
can reduce the convergence time.
- Abstract（参考訳）: 本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
目標は、ローカルflモデルの量子化に使用されるビット幅と、各イテレーションでflトレーニングに参加するデバイスの集合を共同で決定することである。
本稿では,音素化flの学習損失を最小限に抑えるための最適化問題として,音素化装置ごとのサンプリング予算と遅延要件を提案する。
しかし 定式化問題は 解決が困難で
(i)量子化がグローバルml性能に与える影響の具体的理解
(ii)このプロセスの見積もりを効率的に構築できるサーバの能力。
最初の課題に対処するため,提案手法では,無線リソースの制限と量子化誤差が性能に与える影響を解析的に評価した。
この結果から,2回連続するイテレーション間のflトレーニング損失の定量化は,デバイス選択と量子化のスキームと,学習対象モデルに固有のパラメータに依存することがわかった。
そこで本研究では,FL学習過程をマルコフ決定過程として記述し,反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
モデルフリーRLと比較して、このモデルベースRLアプローチは、FLトレーニングプロセスの導出した数学的特徴を利用して、追加のデバイス通信オーバーヘッドを伴わずに効果的なデバイス選択と量子化スキームを発見する。
シミュレーションの結果,提案アルゴリズムは収束時間を短縮できることがわかった。
関連論文リスト
- Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization [20.741776617129208]
分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。
まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。
我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
論文 参考訳（メタデータ） (2023-05-22T21:39:38Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳（メタデータ） (2023-03-23T02:42:10Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2022-12-14T17:33:01Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳（メタデータ） (2022-09-02T10:29:56Z) - Green, Quantized Federated Learning over Wireless Networks: An
Energy-Efficient Design [68.86220939532373]
有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。
提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
論文 参考訳（メタデータ） (2022-07-19T16:37:24Z) - Resource-Efficient and Delay-Aware Federated Learning Design under Edge
Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。
本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。
提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文 参考訳（メタデータ） (2021-12-27T22:30:15Z) - Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。
本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
論文 参考訳（メタデータ） (2021-04-08T03:38:31Z) - Delay Minimization for Federated Learning Over Wireless Communication
Networks [172.42768672943365]
無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。
最適解を得るために,二項探索アルゴリズムを提案する。
シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
論文 参考訳（メタデータ） (2020-07-05T19:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。