論文の概要: Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks
- arxiv url: http://arxiv.org/abs/2202.02947v6
- Date: Wed, 14 Jun 2023 16:50:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-17 04:21:08.997171
- Title: Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks
- Title（参考訳）: 不均一無線ネットワーク上での動的分散モデルトレーニングのための並列逐次学習
- Authors: Seyyedali Hosseinalipour, Su Wang, Nicolo Michelusi, Vaneet Aggarwal,
Christopher G. Brinton, David J. Love, Mung Chiang
- Abstract要約: フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
- 参考スコア（独自算出の注目度）: 50.68446003616802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FedL) has emerged as a popular technique for distributing
model training over a set of wireless devices, via iterative local updates (at
devices) and global aggregations (at the server). In this paper, we develop
parallel successive learning (PSL), which expands the FedL architecture along
three dimensions: (i) Network, allowing decentralized cooperation among the
devices via device-to-device (D2D) communications. (ii) Heterogeneity,
interpreted at three levels: (ii-a) Learning: PSL considers heterogeneous
number of stochastic gradient descent iterations with different mini-batch
sizes at the devices; (ii-b) Data: PSL presumes a dynamic environment with data
arrival and departure, where the distributions of local datasets evolve over
time, captured via a new metric for model/concept drift. (ii-c) Device: PSL
considers devices with different computation and communication capabilities.
(iii) Proximity, where devices have different distances to each other and the
access point. PSL considers the realistic scenario where global aggregations
are conducted with idle times in-between them for resource efficiency
improvements, and incorporates data dispersion and model dispersion with local
model condensation into FedL. Our analysis sheds light on the notion of cold
vs. warmed up models, and model inertia in distributed machine learning. We
then propose network-aware dynamic model tracking to optimize the model
learning vs. resource efficiency tradeoff, which we show is an NP-hard
signomial programming problem. We finally solve this problem through proposing
a general optimization solver. Our numerical results reveal new findings on the
interdependencies between the idle times in-between the global aggregations,
model/concept drift, and D2D cooperation configuration.
- Abstract（参考訳）: フェデレートラーニング(FedL)は,一連の無線デバイス上で,反復的なローカルアップデート(デバイス)とグローバルアグリゲーション(サーバ)を通じて,モデルトレーニングを分散する一般的なテクニックとして登場した。
本稿では,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発する。
i)デバイス間通信(D2D)を介してデバイス間の分散協調を可能にするネットワーク。
(ii-a)学習:pslは、デバイスで異なるミニバッチサイズを持つ確率的勾配降下イテレーションの異種数を考慮し、(ii-b)データ:pslはデータの到着と出発を伴う動的環境を想定し、ローカルデータセットの分布は時間とともに進化し、モデル/コンセプトドリフトの新しいメトリックを介してキャプチャされる。
(ii-c)
デバイス: PSLは計算能力と通信能力の異なるデバイスを考える。
(iii)近接、デバイス同士の距離とアクセスポイントが異なる。
pslは、資源効率の改善のためにそれらの間にアイドルタイムでグローバルアグリゲーションが実行され、データ分散とモデル分散と局所モデル凝縮をfederに組み込む現実的なシナリオを考察している。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
次に、ネットワーク対応動的モデルトラッキングを提案し、モデル学習とリソース効率のトレードオフを最適化し、NPハードなシグナミカルプログラミング問題を示す。
最後に, 一般最適化解法を提案することで, この問題を解決した。
数値計算により,グローバルアグリゲーション,モデル/コンセプションドリフト,D2D協調構成の間におけるアイドル時間間の相互依存性が明らかになった。
関連論文リスト
- Federated Learning with MMD-based Early Stopping for Adaptive GNSS Interference Classification [4.674584508653125]
フェデレートラーニング(FL)は、複数のデバイスがローカルサーバ上のデータを維持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,グローバルサーバ上でのモデルの重み付けと数ショット学習を用いたFL手法を提案する。
FLの模範的な応用は、グローバルナビゲーション衛星システム(GNSS)受信機からのスナップショットに基づいた干渉分類のために、高速道路に沿って機械学習モデルを編成することである。
論文 参考訳（メタデータ） (2024-10-21T06:43:04Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks [17.637761046608]
フェデレーテッド・ラーニング(FedL)は、サーバによって定期的に集約されたローカルモデルをトレーニングすることで、機械学習(ML)をワーカーデバイスに分散させる。
FedLは、同時代の無線ネットワークの2つの重要な特徴を無視している: (i) ネットワークには異種通信/計算資源が含まれており、 (ii) デバイスのローカルデータ分布にかなりの重複がある可能性がある。
デバイス間オフロード(D2D)によって補完されるインテリジェントデバイスサンプリングにより,これらの要因を共同で考慮する新しい最適化手法を開発した。
論文 参考訳（メタデータ） (2023-11-07T21:17:59Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization [20.741776617129208]
分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。
まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。
我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
論文 参考訳（メタデータ） (2023-05-22T21:39:38Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2022-03-26T00:41:57Z) - Two Timescale Hybrid Federated Learning with Cooperative D2D Local Model
Aggregations [10.702853653891902]
フェデレーテッド・ラーニングは、機械学習(ML)モデルのトレーニングを無線エッジに分散する一般的なテクニックとして登場した。
モデル学習のためのデバイス間通信パラダイムとデバイス間通信(d2d)のハイブリッドである,tt-hf(timescale hybrid federated learning)を提案する。
論文 参考訳（メタデータ） (2021-03-18T18:58:45Z) - Device Sampling for Heterogeneous Federated Learning: Theory,
Algorithms, and Implementation [24.084053136210027]
グラフシーケンシャル畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。
提案手法は,全機器の5%以下をサンプリングしながら,訓練されたモデル精度と必要なリソース利用の両面で,fedl(federated learning)を実質的に上回っている。
論文 参考訳（メタデータ） (2021-01-04T05:59:50Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。