論文の概要: Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization
- arxiv url: http://arxiv.org/abs/2305.13503v3
- Date: Thu, 15 Feb 2024 23:04:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 20:54:50.771539
- Title: Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization
- Title（参考訳）: 無線ネットワーク上の非同期多モデル動的フェデレーション学習:理論,モデリング,最適化
- Authors: Zhan-Lun Chang, Seyyedali Hosseinalipour, Mung Chiang, Christopher G.
Brinton
- Abstract要約: 分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。
まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。
我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
- 参考スコア（独自算出の注目度）: 20.741776617129208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) has emerged as a key technique for distributed
machine learning (ML). Most literature on FL has focused on ML model training
for (i) a single task/model, with (ii) a synchronous scheme for updating model
parameters, and (iii) a static data distribution setting across devices, which
is often not realistic in practical wireless environments. To address this, we
develop DMA-FL considering dynamic FL with multiple downstream tasks/models
over an asynchronous model update architecture. We first characterize
convergence via introducing scheduling tensors and rectangular functions to
capture the impact of system parameters on learning performance. Our analysis
sheds light on the joint impact of device training variables (e.g., number of
local gradient descent steps), asynchronous scheduling decisions (i.e., when a
device trains a task), and dynamic data drifts on the performance of ML
training for different tasks. Leveraging these results, we formulate an
optimization for jointly configuring resource allocation and device scheduling
to strike an efficient trade-off between energy consumption and ML performance.
Our solver for the resulting non-convex mixed integer program employs
constraint relaxations and successive convex approximations with convergence
guarantees. Through numerical experiments, we reveal that DMA-FL substantially
improves the performance-efficiency tradeoff.
- Abstract（参考訳）: federated learning(fl)は、分散機械学習(ml)の鍵となるテクニックとして登場した。
FLに関するほとんどの文献はMLモデルのトレーニングに重点を置いている
(i)一つのタスク/モデル
(ii)モデルパラメータを更新するための同期スキーム、及び
(iii) デバイス間の静的なデータ分散設定は,実用的な無線環境では現実的ではないことが多い。
そこで我々は,非同期モデル更新アーキテクチャ上で複数のダウンストリームタスク/モデルを持つ動的FLを考慮したDMA-FLを開発する。
まず,システムパラメータが学習性能に与える影響を捉えるために,スケジューリングテンソルと矩形関数を導入することで収束を特徴付ける。
我々の分析では、デバイストレーニング変数(例えば、局所的な勾配降下ステップの数)、非同期スケジューリング決定(例えば、デバイスがタスクを訓練するとき)、および動的データドリフトが、異なるタスクに対するMLトレーニングのパフォーマンスに与える影響について光を当てている。
これらの結果を利用して、資源割り当てと機器スケジューリングを共同で設定し、エネルギー消費とML性能の効率的なトレードオフを打つ最適化を行う。
得られた非凸混合整数プログラムの解法は、収束保証付き制約緩和と連続凸近似を用いる。
数値実験により,DMA-FLは性能・効率トレードオフを大幅に改善することがわかった。
関連論文リスト
- Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。
FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。
我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文 参考訳（メタデータ） (2024-08-13T01:14:27Z) - DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency
for Federated Learning with Static and Streaming Dataset [23.11152686493894]
Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。
本稿では、バッチサイズと集約周波数の相互作用を利用して、動的FLトレーニングにおける収束、コスト、完了時間間のトレードオフをナビゲートする新しい解析モデルと最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-20T08:36:12Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2022-12-14T17:33:01Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Resource-Efficient and Delay-Aware Federated Learning Design under Edge
Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。
本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。
提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文 参考訳（メタデータ） (2021-12-27T22:30:15Z) - Device Scheduling and Update Aggregation Policies for Asynchronous
Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。
本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-23T18:57:08Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。