論文の概要: Async-HFL: Efficient and Robust Asynchronous Federated Learning in Hierarchical IoT Networks

• arxiv url: http://arxiv.org/abs/2301.06646v1
• Date: Tue, 17 Jan 2023 00:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 15:03:14.684096
• Title: Async-HFL: Efficient and Robust Asynchronous Federated Learning in Hierarchical IoT Networks
• Title（参考訳）: Async-HFL:階層型IoTネットワークにおける効率的でロバストな非同期フェデレーション学習
• Authors: Xiaofan Yu, Ludmila Cherkasova, Harsh Vardhan, Quanling Zhao, Emily Ekaireb, Xiyuan Zhang, Arya Mazumdar, Tajana Rosing
• Abstract要約: 我々は,共通3層IoTネットワークアーキテクチャでフェデレートラーニング(FL)を実行するための非同期かつ階層的なフレームワーク(Async-HFL)を提案する。 Async-HFLは壁面時間で1.08-1.31倍の速度で収束し、最先端の非同期FLアルゴリズムと比較して通信コストを最大21.6%削減することを示す。
• 参考スコア（独自算出の注目度）: 23.40318417905886
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated Learning (FL) has gained increasing interest in recent years as a distributed on-device learning paradigm. However, multiple challenges remain to be addressed for deploying FL in real-world Internet-of-Things (IoT) networks with hierarchies. Although existing works have proposed various approaches to account data heterogeneity, system heterogeneity, unexpected stragglers and scalibility, none of them provides a systematic solution to address all of the challenges in a hierarchical and unreliable IoT network. In this paper, we propose an asynchronous and hierarchical framework (Async-HFL) for performing FL in a common three-tier IoT network architecture. In response to the largely varied delays, Async-HFL employs asynchronous aggregations at both the gateway and the cloud levels thus avoids long waiting time. To fully unleash the potential of Async-HFL in converging speed under system heterogeneities and stragglers, we design device selection at the gateway level and device-gateway association at the cloud level. Device selection chooses edge devices to trigger local training in real-time while device-gateway association determines the network topology periodically after several cloud epochs, both satisfying bandwidth limitation. We evaluate Async-HFL's convergence speedup using large-scale simulations based on ns-3 and a network topology from NYCMesh. Our results show that Async-HFL converges 1.08-1.31x faster in wall-clock time and saves up to 21.6% total communication cost compared to state-of-the-art asynchronous FL algorithms (with client selection). We further validate Async-HFL on a physical deployment and observe robust convergence under unexpected stragglers.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は近年,デバイス上での分散学習パラダイムとして関心が高まっている。 しかし、現実のIoT(Internet-of-Things)ネットワークにFLを階層的にデプロイする上で、いくつかの課題に対処する必要がある。 既存の研究では、データの異種性、システムの異種性、予期せぬストラグラー、および可視性など、さまざまなアプローチが提案されているが、階層的かつ信頼性の低いIoTネットワークにおけるすべての課題に対処する体系的なソリューションは、いずれも提供されていない。 本稿では,一般的な3層IoTネットワークアーキテクチャでFLを実行するための非同期かつ階層的なフレームワーク(Async-HFL)を提案する。 遅延が大きく異なるため、async-hflはゲートウェイとクラウドの両方で非同期集約を使用するため、待ち時間を回避することができる。 システム不均一性とストラグラー下での収束速度におけるAsync-HFLの可能性を完全に解き放つために,ゲートウェイレベルでのデバイス選択と,クラウドレベルでのデバイスゲートウェイアソシエーションを設計する。 デバイス選択はエッジデバイスを選択してリアルタイムにローカルトレーニングをトリガーし、デバイスゲートウェイアソシエーションは複数のクラウドエポックの後に定期的にネットワークトポロジを決定する。 ns-3とNYCMeshのネットワークトポロジに基づく大規模シミュレーションを用いてAsync-HFLの収束速度を評価する。 その結果,Async-HFLは壁面時間で1.08-1.31倍早く収束し,最先端の非同期FLアルゴリズムと比較して通信コストを最大21.6%削減できることがわかった。 さらに, Async-HFLを物理配置で検証し, 予期せぬストラグラー下での堅牢な収束を観察する。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model Communication [11.763368822546468]
  SWIFTはその待ち時間構造のため,実行時間に対してより高速に収束することを示す。 SWIFTは、画像分類、ID、非IIDデータ設定の損失レベルを生成し、既存のSOTAアルゴリズムよりも50%高速である。
  論文  参考訳（メタデータ） (2022-10-25T14:01:21Z)
• Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
  我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。 我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
  論文  参考訳（メタデータ） (2022-09-27T02:12:43Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Blockchain-enabled Server-less Federated Learning [5.065631761462706]
  我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。 主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
  論文  参考訳（メタデータ） (2021-12-15T07:41:23Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• HADFL: Heterogeneity-aware Decentralized Federated Learning Framework [1.3780739674182867]
  HADFLは、異種デバイス上での分散非同期トレーニングをサポートするフレームワークである。 これにより、中央サーバの通信圧力を軽減し、不均一なコンピューティングパワーを効率的に利用し、最大3.15倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2021-11-16T07:43:18Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。