論文の概要: Clustered Scheduling and Communication Pipelining For Efficient Resource
Management Of Wireless Federated Learning
- arxiv url: http://arxiv.org/abs/2206.07631v1
- Date: Wed, 15 Jun 2022 16:23:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 14:31:57.171703
- Title: Clustered Scheduling and Communication Pipelining For Efficient Resource
Management Of Wireless Federated Learning
- Title（参考訳）: 無線フェデレーション学習の効率的な資源管理のためのクラスタスケジューリングと通信パイプライン
- Authors: Cihat Ke\c{c}eci, Mohammad Shaqfeh, Fawaz Al-Qahtani, Muhammad Ismail,
and Erchin Serpedin
- Abstract要約: 本稿では,コミュニケーションパイプラインを用いて,フェデレート学習の無線スペクトル利用効率と収束速度を向上させることを提案する。
我々は、異なる設定下で最適なクライアントクラスタリングのための汎用的な定式化を行い、最適解を得るための効率的なアルゴリズムを解析的に導出する。
- 参考スコア（独自算出の注目度）: 6.753282396352072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes using communication pipelining to enhance the wireless
spectrum utilization efficiency and convergence speed of federated learning in
mobile edge computing applications. Due to limited wireless sub-channels, a
subset of the total clients is scheduled in each iteration of federated
learning algorithms. On the other hand, the scheduled clients wait for the
slowest client to finish its computation. We propose to first cluster the
clients based on the time they need per iteration to compute the local
gradients of the federated learning model. Then, we schedule a mixture of
clients from all clusters to send their local updates in a pipelined manner. In
this way, instead of just waiting for the slower clients to finish their
computation, more clients can participate in each iteration. While the time
duration of a single iteration does not change, the proposed method can
significantly reduce the number of required iterations to achieve a target
accuracy. We provide a generic formulation for optimal client clustering under
different settings, and we analytically derive an efficient algorithm for
obtaining the optimal solution. We also provide numerical results to
demonstrate the gains of the proposed method for different datasets and deep
learning architectures.
- Abstract（参考訳）: 本稿では,モバイルエッジコンピューティングアプリケーションにおけるフェデレート学習の無線スペクトル利用効率と収束速度を向上させるための通信パイプラインを提案する。
制限された無線サブチャネルのため、全クライアントのサブセットは、連合学習アルゴリズムの各イテレーションでスケジュールされる。
一方、スケジュールされたクライアントは、最も遅いクライアントが計算を完了するのを待ちます。
フェデレーション学習モデルの局所的な勾配を計算するために、まず、イテレーション毎に必要な時間に基づいてクライアントをクラスタ化する。
そして、すべてのクラスタからのクライアントの混在をスケジュールし、パイプライン化された方法でローカル更新を送信する。
このように、遅いクライアントが計算を完了するのを待つのではなく、より多くのクライアントがイテレーションに参加します。
単一反復の時間長は変化しないが,提案手法は目標精度を達成するために必要な反復回数を大幅に削減することができる。
異なる設定下での最適なクライアントクラスタリングのための汎用的定式化を提案し,最適な解を得るための効率的なアルゴリズムを解析的に導出する。
また,異なるデータセットとディープラーニングアーキテクチャに対する提案手法の利点を示す数値的な結果も提供する。
関連論文リスト
- Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。
1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。
複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
論文 参考訳（メタデータ） (2024-05-22T12:27:24Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。
トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。
本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文 参考訳（メタデータ） (2023-02-13T18:55:31Z) - Client Selection Approach in Support of Clustered Federated Learning
over Wireless Edge Networks [2.6774008509840996]
CFL(Clustered Federated Multitask Learning)は、信頼性の高い専門モデルを得るための効率的なスキームとして導入された。
本稿では,特殊な機械学習モデルを得るための収束率の向上を目的とした,新しいクライアント選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-08-16T21:38:22Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z) - Distributed Non-Convex Optimization with Sublinear Speedup under
Intermittent Client Availability [46.85205907718874]
フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。
本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。
我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。
我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
論文 参考訳（メタデータ） (2020-02-18T06:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。