論文の概要: Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization
- arxiv url: http://arxiv.org/abs/2305.13503v2
- Date: Fri, 21 Jul 2023 00:15:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 15:47:42.449666
- Title: Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization
- Title（参考訳）: 無線ネットワーク上の非同期多モデル動的フェデレーション学習:理論,モデリング,最適化
- Authors: Zhan-Lun Chang, Seyyedali Hosseinalipour, Mung Chiang, Christopher G.
Brinton
- Abstract要約: 分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。
複数の下流タスクを持つ動的FLを非同期モデル伝送アーキテクチャ上でトレーニングするDMA-FLを開発した。
数値シミュレーションにより、モデル消費とネットワーク資源の節約の観点からDMA-FLの利点を明らかにする。
- 参考スコア（独自算出の注目度）: 23.0845190971653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) has emerged as a key technique for distributed
machine learning (ML). Most literature on FL has focused on ML model training
for (i) a single task/model, with (ii) a synchronous scheme for uplink/downlink
transfer of model parameters, and (iii) a static data distribution setting
across devices. These assumptions are often not well representative of
conditions encountered in practical FL environments. To address this, we
develop DMA-FL, which considers dynamic FL with multiple downstream tasks to be
trained over an asynchronous model transmission architecture. We first
characterize the convergence of ML model training under DMA-FL via introducing
a family of scheduling tensors and rectangular functions to capture the
scheduling of devices. Our convergence analysis sheds light on the impact of
resource allocation, device scheduling, and individual model states on the
performance of ML models. We then formulate a non-convex mixed integer
optimization problem for jointly configuring the resource allocation and device
scheduling to strike an efficient trade-off between energy consumption and ML
performance. We develop a solution methodology employing successive convex
approximations with convergence guarantee to a stationary point. Through
numerical simulations, we reveal the advantages of DMA-FL in terms of model
performance and network resource savings.
- Abstract（参考訳）: federated learning(fl)は、分散機械学習(ml)の鍵となるテクニックとして登場した。
FLに関するほとんどの文献はMLモデルのトレーニングに重点を置いている
(i)一つのタスク/モデル
(ii)モデルパラメータのアップリンク/ダウンリンク転送のための同期スキーム、
(iii)デバイス間での静的なデータ分散の設定。
これらの仮定は、実際のfl環境で発生する条件をよく表さないことが多い。
そこで我々は,複数の下流タスクを伴う動的FLを非同期モデル伝送アーキテクチャ上でトレーニングするDMA-FLを開発した。
まず,DMA-FL下でのMLモデルトレーニングの収束を,機器のスケジューリングを捉えるために,テンソルと矩形関数のファミリーを導入して特徴付ける。
我々の収束分析は、資源配分、デバイススケジューリング、および個々のモデル状態がMLモデルの性能に与える影響に光を当てる。
次に,資源割当とデバイススケジューリングを共同で構成する非凸混合整数最適化問題を定式化し,エネルギー消費とml性能の効率的なトレードオフを実現する。
定常点への収束保証を伴う連続凸近似を用いた解法を開発した。
数値シミュレーションにより,dma-flの利点をモデル性能とネットワーク資源節約の観点から明らかにする。
関連論文リスト
- Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。
FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。
我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文 参考訳（メタデータ） (2024-08-13T01:14:27Z) - DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency
for Federated Learning with Static and Streaming Dataset [23.11152686493894]
Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。
本稿では、バッチサイズと集約周波数の相互作用を利用して、動的FLトレーニングにおける収束、コスト、完了時間間のトレードオフをナビゲートする新しい解析モデルと最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-20T08:36:12Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2022-12-14T17:33:01Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Resource-Efficient and Delay-Aware Federated Learning Design under Edge
Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。
本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。
提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文 参考訳（メタデータ） (2021-12-27T22:30:15Z) - Device Scheduling and Update Aggregation Policies for Asynchronous
Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。
本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-23T18:57:08Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。