論文の概要: Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data
- arxiv url: http://arxiv.org/abs/2107.06548v1
- Date: Wed, 14 Jul 2021 08:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-15 14:06:59.597240
- Title: Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data
- Title（参考訳）: 不均衡データを含むiotヘテロジニアスシステムのための通信効率の高い階層型連合学習
- Authors: Alaa Awad Abdellatif, Naram Mhaisen, Amr Mohamed, Aiman Erbad, Mohsen
Guizani, Zaher Dawy, Wassim Nasreddine
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
- 参考スコア（独自算出の注目度）: 42.26599494940002
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning (FL) is a distributed learning methodology that allows
multiple nodes to cooperatively train a deep learning model, without the need
to share their local data. It is a promising solution for telemonitoring
systems that demand intensive data collection, for detection, classification,
and prediction of future events, from different locations while maintaining a
strict privacy constraint. Due to privacy concerns and critical communication
bottlenecks, it can become impractical to send the FL updated models to a
centralized server. Thus, this paper studies the potential of hierarchical FL
in IoT heterogeneous systems and propose an optimized solution for user
assignment and resource allocation on multiple edge nodes. In particular, this
work focuses on a generic class of machine learning models that are trained
using gradient-descent-based schemes while considering the practical
constraints of non-uniformly distributed data across different users. We
evaluate the proposed system using two real-world datasets, and we show that it
outperforms state-of-the-art FL solutions. In particular, our numerical results
highlight the effectiveness of our approach and its ability to provide 4-6%
increase in the classification accuracy, with respect to hierarchical FL
schemes that consider distance-based user assignment. Furthermore, the proposed
approach could significantly accelerate FL training and reduce communication
overhead by providing 75-85% reduction in the communication rounds between edge
nodes and the centralized server, for the same model accuracy.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、複数のノードがローカルデータを共有することなく、ディープラーニングモデルを協調的にトレーニングできる分散学習方法論である。
これは、厳格なプライバシー制約を維持しながら、異なる場所からの将来のイベントの検出、分類、予測のために集中的なデータ収集を要求する遠隔監視システムにとって有望なソリューションである。
プライバシー上の懸念と重要な通信ボトルネックのため、FL更新モデルを集中サーバに送信するのは現実的ではない。
本稿では,iotヘテロジニアスシステムにおける階層型flの可能性について検討し,複数のエッジノードにおけるユーザ割り当てとリソース割り当ての最適化ソリューションを提案する。
特に本研究は,不均一分散データのユーザ間の実用的制約を考慮しつつ,勾配拡散型スキームを用いてトレーニングされる機械学習モデルの汎用クラスに着目したものである。
2つの実世界のデータセットを用いて提案システムの評価を行い、現状のFLソリューションよりも優れていることを示す。
特に,提案手法の有効性と分類精度を4～6%向上させる能力について,距離に基づくユーザ割り当てを考慮した階層的FLスキームについて検討した。
さらに,提案手法は,同一モデル精度で,エッジノードと集中サーバ間の通信ラウンドを75～85%削減することで,FLトレーニングの大幅な高速化と通信オーバーヘッドの低減を可能にする。
関連論文リスト
- Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning [9.451084740123198]
フェデレートラーニング(FL)は、エッジデバイスが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。
しかし、電力、帯域幅などの制約のあるリソースを持つモバイルエッジネットワーク上にFLをデプロイすることは、高いトレーニングレイテンシと低いモデルの精度に悩まされる。
本稿では,資源制約と不確実性の下で,モバイルエッジネットワーク上でのFLの最適なクライアントスケジューリングとリソース割り当てについて検討する。
論文 参考訳（メタデータ） (2024-09-29T01:56:45Z) - Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning [9.900317349372383]
Federated Learning (FL)は、モバイルデバイス上で機械学習モデルをトレーニングするためのプライバシー保護フレームワークを提供する。
従来のFLアルゴリズム、例えばFedAvgはこれらのデバイスに重い通信負荷を課す。
エッジデバイスをエッジサーバに接続し,エッジサーバをピアツーピア(P2P)エッジバックホールを介して相互接続する2層HFELシステムを提案する。
我々の目標は、戦略的資源配分とトポロジ設計により、HFELシステムの訓練効率を向上させることである。
論文 参考訳（メタデータ） (2024-09-29T01:48:04Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local
Parameter Sharing [14.938531944702193]
局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。
FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。
FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
論文 参考訳（メタデータ） (2024-02-13T16:30:30Z) - Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth
and Data Heterogeneity [14.313847382199059]
Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。
Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
論文 参考訳（メタデータ） (2023-12-20T19:11:19Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。