論文の概要: Adaptive Decentralized Federated Learning in Energy and Latency Constrained Wireless Networks
- arxiv url: http://arxiv.org/abs/2403.20075v1
- Date: Fri, 29 Mar 2024 09:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 16:04:00.973587
- Title: Adaptive Decentralized Federated Learning in Energy and Latency Constrained Wireless Networks
- Title（参考訳）: エネルギー・遅延制約無線ネットワークにおける適応分散型フェデレーション学習
- Authors: Zhigang Yan, Dong Li,
- Abstract要約: 中央ノードで集約されたパラメータを持つフェデレートラーニング(FL)では、通信オーバーヘッドがかなり懸念される。
最近の研究では、分散フェデレートラーニング(DFL)が実現可能な代替手段として紹介されている。
エネルギーと遅延の制約を考慮してDFLの損失関数を最小化する問題を定式化する。
- 参考スコア（独自算出の注目度）: 4.03161352925235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Federated Learning (FL), with parameter aggregated by a central node, the communication overhead is a substantial concern. To circumvent this limitation and alleviate the single point of failure within the FL framework, recent studies have introduced Decentralized Federated Learning (DFL) as a viable alternative. Considering the device heterogeneity, and energy cost associated with parameter aggregation, in this paper, the problem on how to efficiently leverage the limited resources available to enhance the model performance is investigated. Specifically, we formulate a problem that minimizes the loss function of DFL while considering energy and latency constraints. The proposed solution involves optimizing the number of local training rounds across diverse devices with varying resource budgets. To make this problem tractable, we first analyze the convergence of DFL with edge devices with different rounds of local training. The derived convergence bound reveals the impact of the rounds of local training on the model performance. Then, based on the derived bound, the closed-form solutions of rounds of local training in different devices are obtained. Meanwhile, since the solutions require the energy cost of aggregation as low as possible, we modify different graph-based aggregation schemes to solve this energy consumption minimization problem, which can be applied to different communication scenarios. Finally, a DFL framework which jointly considers the optimized rounds of local training and the energy-saving aggregation scheme is proposed. Simulation results show that, the proposed algorithm achieves a better performance than the conventional schemes with fixed rounds of local training, and consumes less energy than other traditional aggregation schemes.
- Abstract（参考訳）: 中央ノードで集約されたパラメータを持つフェデレートラーニング(FL)では、通信オーバーヘッドがかなり懸念される。
この制限を回避し、FLフレームワーク内の単一障害点を軽減するために、最近の研究では、分散フェデレートラーニング(DFL)を実行可能な代替手段として導入している。
本稿では,パラメータアグリゲーションに伴うデバイスの不均一性とエネルギーコストを考慮し,モデル性能を向上させるために利用可能な限られた資源を効率的に活用する方法について検討する。
具体的には、エネルギーと遅延の制約を考慮して、DFLの損失関数を最小化する問題を定式化する。
提案するソリューションでは,リソース予算の異なるさまざまなデバイスを対象としたローカルトレーニングラウンドの数を最適化する。
そこで我々はまず,DFLとエッジデバイスとの収束を局所的な学習の異なるラウンドで解析する。
導出収束境界は、局所訓練のラウンドがモデル性能に与える影響を明らかにする。
そして、導出境界に基づいて、異なる装置における局所訓練のラウンドの閉形式解を求める。
一方, 解法は, できるだけ低エネルギー化のエネルギーコストを必要とするため, 異なる通信シナリオに適用可能な, このエネルギー消費最小化問題を解決するために, グラフベースのアグリゲーションスキームを改良する。
最後に,局所訓練の最適化ラウンドと省エネアグリゲーションスキームを共同で検討したDFLフレームワークを提案する。
シミュレーションの結果,提案アルゴリズムは局所学習の固定ラウンド方式よりも優れた性能を示し,従来のアグリゲーション方式よりも少ないエネルギーを消費することがわかった。
関連論文リスト
- Federated Learning With Energy Harvesting Devices: An MDP Framework [5.852486435612777]
フェデレートラーニング(FL)では、エッジデバイスがローカルトレーニングを実行し、パラメータサーバと情報を交換する必要がある。
実用FLシステムにおける重要な課題は、バッテリ限定エッジ装置の急激なエネルギー枯渇である。
FLシステムにエネルギー回収技術を適用し, エッジデバイスを連続的に駆動する環境エネルギーを抽出する。
論文 参考訳（メタデータ） (2024-05-17T03:41:40Z) - AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。
本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
論文 参考訳（メタデータ） (2024-03-19T19:05:24Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T13:34:44Z) - A Safe Genetic Algorithm Approach for Energy Efficient Federated
Learning in Wireless Communication Networks [53.561797148529664]
フェデレートラーニング(FL)は、従来の集中型アプローチとは対照的に、デバイスが協調的にモデルトレーニングを行う分散技術として登場した。
FLの既存の取り組みにもかかわらず、その環境影響は、無線ネットワークへの適用性に関するいくつかの重要な課題が特定されているため、まだ調査中である。
現在の研究は遺伝的アルゴリズム(GA)アプローチを提案しており、FLプロセス全体のエネルギー消費と不要な資源利用の両方を最小化することを目標としている。
論文 参考訳（メタデータ） (2023-06-25T13:10:38Z) - AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous
Edge Devices [20.52519915112099]
我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。
実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
論文 参考訳（メタデータ） (2023-01-08T15:25:55Z) - Multi-Resource Allocation for On-Device Distributed Federated Learning
Systems [79.02994855744848]
本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。
システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
論文 参考訳（メタデータ） (2022-11-01T14:16:05Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳（メタデータ） (2022-09-02T10:29:56Z) - Federated Learning for Energy-limited Wireless Networks: A Partial Model
Aggregation Approach [79.59560136273917]
デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである
まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。
提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
論文 参考訳（メタデータ） (2022-04-20T19:09:52Z) - Fine-Grained Data Selection for Improved Energy Efficiency of Federated
Edge Learning [2.924868086534434]
フェデレーションエッジ学習(FEEL)では、ネットワークエッジのエネルギー制約されたデバイスは、ローカル機械学習モデルをトレーニングおよびアップロードする際にかなりのエネルギーを消費する。
本研究は, ローカルトレーニングデータ, 利用可能な計算, 通信資源を共同で検討し, エネルギー効率の高い FEEL の新たなソリューションを提案する。
論文 参考訳（メタデータ） (2021-06-20T10:51:32Z) - Threshold-Based Data Exclusion Approach for Energy-Efficient Federated
Edge Learning [4.25234252803357]
Federated Edge Learning (FEEL) は次世代無線ネットワークにおいて有望な分散学習技術である。
FEELは、モデルトレーニングラウンド中に消費される電力により、エネルギー制約された参加機器の寿命を大幅に短縮する可能性がある。
本稿では,FEELラウンドにおける計算および通信エネルギー消費を最小化するための新しい手法を提案する。
論文 参考訳（メタデータ） (2021-03-30T13:34:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。