論文の概要: HiFlash: Communication-Efficient Hierarchical Federated Learning with
Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association
- arxiv url: http://arxiv.org/abs/2301.06447v1
- Date: Mon, 16 Jan 2023 14:39:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 15:49:52.758916
- Title: HiFlash: Communication-Efficient Hierarchical Federated Learning with
Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association
- Title（参考訳）: HiFlash: 適応定常制御と異種性を考慮したクライアントエッジアソシエーションによるコミュニケーション効率の高い階層型フェデレーションラーニング
- Authors: Qiong Wu and Xu Chen and Tao Ouyang and Zhi Zhou and Xiaoxi Zhang and
Shusen Yang and Junshan Zhang
- Abstract要約: フェデレートラーニング(FL)は、巨大なクライアント間で共有モデルを協調的に学習することのできる、有望なパラダイムである。
多くの既存のFLシステムでは、クライアントは大規模なデータサイズのモデルパラメータを、ワイドエリアネットワーク(WAN)を介してリモートクラウドサーバと頻繁に交換する必要がある。
我々は、モバイルエッジコンピューティングの利点を享受するHiFLの階層的フェデレーション学習パラダイムを活用している。
- 参考スコア（独自算出の注目度）: 38.99309610943313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a promising paradigm that enables collaboratively
learning a shared model across massive clients while keeping the training data
locally. However, for many existing FL systems, clients need to frequently
exchange model parameters of large data size with the remote cloud server
directly via wide-area networks (WAN), leading to significant communication
overhead and long transmission time. To mitigate the communication bottleneck,
we resort to the hierarchical federated learning paradigm of HiFL, which reaps
the benefits of mobile edge computing and combines synchronous client-edge
model aggregation and asynchronous edge-cloud model aggregation together to
greatly reduce the traffic volumes of WAN transmissions. Specifically, we first
analyze the convergence bound of HiFL theoretically and identify the key
controllable factors for model performance improvement. We then advocate an
enhanced design of HiFlash by innovatively integrating deep reinforcement
learning based adaptive staleness control and heterogeneity-aware client-edge
association strategy to boost the system efficiency and mitigate the staleness
effect without compromising model accuracy. Extensive experiments corroborate
the superior performance of HiFlash in model accuracy, communication reduction,
and system efficiency.
- Abstract（参考訳）: フェデレートラーニング(FL)は、巨大なクライアント間で共有モデルを共同で学習し、トレーニングデータをローカルに保持する、有望なパラダイムである。
しかし、既存の多くのFLシステムでは、クライアントはリモートクラウドサーバと直接ワイドエリアネットワーク(WAN)を介して、大規模なデータサイズのモデルパラメータを頻繁に交換する必要がある。
通信ボトルネックを軽減するため,モバイルエッジコンピューティングの利点を享受し,同期クライアントエッジモデルアグリゲーションと非同期エッジクラウドモデルアグリゲーションを組み合わせることで,WAN送信のトラフィック量を大幅に削減するHiFLの階層的フェデレーション学習パラダイムを利用する。
具体的には,まずhiflの収束限界を理論的に解析し,モデル性能向上の鍵となる因子を同定する。
そこで我々は,システム効率を高め,モデルの精度を損なうことなく安定効果を緩和するために,深層強化学習に基づく適応的安定制御と異種性認識型クライアントエッジ関連戦略を革新的に統合することにより,hiflashの強化設計を提唱する。
広範な実験は、モデル精度、通信効率、システム効率において、hiflashの優れた性能を補っている。
関連論文リスト
- FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。
我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。
提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
論文 参考訳（メタデータ） (2024-10-17T22:47:19Z) - Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。
本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-27T12:17:47Z) - Adaptive Hybrid Model Pruning in Federated Learning through Loss Exploration [17.589308358508863]
我々は、フェデレートされた損失探索フェーズを利用して、適応型ハイブリッドプルーニングを駆動する革新的アプローチであるAutoFLIPを紹介する。
我々は,AutoFLIPがグローバルコンバージェンスを効率的に加速するだけでなく,従来の手法に比べて精度と堅牢性も向上することを示した。
論文 参考訳（メタデータ） (2024-05-16T17:27:41Z) - Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳（メタデータ） (2024-01-25T14:49:15Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳（メタデータ） (2023-05-15T22:04:49Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Reconfigurable Intelligent Surface Enabled Federated Learning: A Unified
Communication-Learning Design Approach [30.1988598440727]
我々は,デバイス選択,無線トランシーバ設計,RIS構成を協調的に最適化する統一的なコミュニケーション学習最適化問題を開発した。
数値実験により,提案手法は最先端の手法と比較して,学習精度が大幅に向上することが示された。
論文 参考訳（メタデータ） (2020-11-20T08:54:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。