論文の概要: Load Balancing in Federated Learning
- arxiv url: http://arxiv.org/abs/2408.00217v1
- Date: Thu, 1 Aug 2024 00:56:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 22:04:56.500669
- Title: Load Balancing in Federated Learning
- Title(参考訳): フェデレーションラーニングにおけるロードバランシング
- Authors: Alireza Javani, Zhiying Wang,
- Abstract要約: Federated Learning(FL)は、複数のリモートデバイスに分散したデータからの学習を可能にする、分散機械学習フレームワークである。
本稿では,情報時代に基づくスケジューリングポリシーの負荷指標を提案する。
マルコフ連鎖モデルの最適パラメータを確立し、シミュレーションによりアプローチを検証する。
- 参考スコア(独自算出の注目度): 3.2999744336237384
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a decentralized machine learning framework that enables learning from data distributed across multiple remote devices, enhancing communication efficiency and data privacy. Due to limited communication resources, a scheduling policy is often applied to select a subset of devices for participation in each FL round. The scheduling process confronts significant challenges due to the need for fair workload distribution, efficient resource utilization, scalability in environments with numerous edge devices, and statistically heterogeneous data across devices. This paper proposes a load metric for scheduling policies based on the Age of Information and addresses the above challenges by minimizing the load metric variance across the clients. Furthermore, a decentralized Markov scheduling policy is presented, that ensures a balanced workload distribution while eliminating the management overhead irrespective of the network size due to independent client decision-making. We establish the optimal parameters of the Markov chain model and validate our approach through simulations. The results demonstrate that reducing the load metric variance not only promotes fairness and improves operational efficiency, but also enhances the convergence rate of the learning models.
- Abstract(参考訳): Federated Learning(FL)は、複数のリモートデバイスに分散したデータからの学習を可能にし、通信効率とデータのプライバシを向上させる、分散機械学習フレームワークである。
限られた通信資源のため、各FLラウンドに参加するための装置のサブセットを選択するためにスケジューリングポリシーが適用されることが多い。
スケジューリングプロセスは、公正なワークロード分散の必要性、効率的なリソース利用、多数のエッジデバイスを持つ環境におけるスケーラビリティ、デバイス間の統計的に異質なデータなど、大きな課題に直面している。
本稿では,情報化時代に基づくポリシスケジューリングのためのロードメトリックを提案し,クライアント間のロードメトリックのばらつきを最小限に抑えて,上記の課題に対処する。
さらに、独立したクライアント決定によるネットワークサイズに関わらず、管理オーバーヘッドを排除しつつ、バランスの取れたワークロードの分散を保証する、分散化されたMarkovスケジューリングポリシーが提示される。
マルコフ連鎖モデルの最適パラメータを確立し、シミュレーションによりアプローチを検証する。
その結果, 負荷距離分散の低減は公平性を促進し, 作業効率を向上させるだけでなく, 学習モデルの収束率を向上させることが示唆された。
関連論文リスト
- Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning [9.451084740123198]
フェデレートラーニング(FL)は、エッジデバイスが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。
しかし、電力、帯域幅などの制約のあるリソースを持つモバイルエッジネットワーク上にFLをデプロイすることは、高いトレーニングレイテンシと低いモデルの精度に悩まされる。
本稿では,資源制約と不確実性の下で,モバイルエッジネットワーク上でのFLの最適なクライアントスケジューリングとリソース割り当てについて検討する。
論文 参考訳(メタデータ) (2024-09-29T01:56:45Z) - Energy-Efficient Federated Edge Learning with Streaming Data: A Lyapunov Optimization Approach [34.00679567444125]
本研究では,長期エネルギー制約下でのデータ到着や資源の可利用性に固有のランダム性に対処する動的スケジューリングと資源割当アルゴリズムを開発した。
提案アルゴリズムは, デバイススケジューリング, 計算容量調整, 帯域幅の割り当ておよび各ラウンドの送信電力を適応的に決定する。
本手法の有効性をシミュレーションにより検証し,ベースライン方式と比較して学習性能とエネルギー効率が向上したことを示す。
論文 参考訳(メタデータ) (2024-05-20T14:13:22Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳(メタデータ) (2024-04-04T06:24:11Z) - Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth
and Data Heterogeneity [14.313847382199059]
Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。
Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
論文 参考訳(メタデータ) (2023-12-20T19:11:19Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - REFT: Resource-Efficient Federated Training Framework for Heterogeneous
and Resource-Constrained Environments [2.117841684082203]
分散システムでは、フェデレートラーニング(FL)が重要な役割を果たす。
FLは、機械学習のプライバシ強化サブドメインとして出現する。
我々は「不均一・資源制約環境のための資源効率の良いフェデレーション・トレーニング・フレームワーク」を提案する。
論文 参考訳(メタデータ) (2023-08-25T20:33:30Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。
限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
論文 参考訳(メタデータ) (2023-05-02T07:41:16Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2022-12-14T17:33:01Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳(メタデータ) (2021-10-22T13:25:57Z) - Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文 参考訳(メタデータ) (2021-07-14T08:32:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。