論文の概要: Adaptive Federated Pruning in Hierarchical Wireless Networks

• arxiv url: http://arxiv.org/abs/2305.09042v1
• Date: Mon, 15 May 2023 22:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 17:02:53.461242
• Title: Adaptive Federated Pruning in Hierarchical Wireless Networks
• Title（参考訳）: 階層型無線ネットワークにおける適応フェデレーションプルーニング
• Authors: Xiaonan Liu and Shiqiang Wang and Yansha Deng and Arumugam Nallanathan
• Abstract要約: Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
• 参考スコア（独自算出の注目度）: 69.6417645730093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a promising privacy-preserving distributed learning framework where a server aggregates models updated by multiple devices without accessing their private datasets. Hierarchical FL (HFL), as a device-edge-cloud aggregation hierarchy, can enjoy both the cloud server's access to more datasets and the edge servers' efficient communications with devices. However, the learning latency increases with the HFL network scale due to the increasing number of edge servers and devices with limited local computation capability and communication bandwidth. To address this issue, in this paper, we introduce model pruning for HFL in wireless networks to reduce the neural network scale. We present the convergence analysis of an upper on the l2 norm of gradients for HFL with model pruning, analyze the computation and communication latency of the proposed model pruning scheme, and formulate an optimization problem to maximize the convergence rate under a given latency threshold by jointly optimizing the pruning ratio and wireless resource allocation. By decoupling the optimization problem and using Karush Kuhn Tucker (KKT) conditions, closed-form solutions of pruning ratio and wireless resource allocation are derived. Simulation results show that our proposed HFL with model pruning achieves similar learning accuracy compared with the HFL without model pruning and reduces about 50 percent communication cost.
• Abstract（参考訳）: Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、有望なプライバシ保護分散学習フレームワークである。 デバイスエッジクラウド集約階層としての階層FL(HFL)は、クラウドサーバのより多くのデータセットへのアクセスと、エッジサーバのデバイスとの効率的な通信の両方を楽しむことができる。 しかし、エッジサーバやローカル計算能力に制限のあるデバイスの増加と通信帯域幅の増大により、HFLネットワークスケールによる学習遅延が増大する。 本稿では,この問題を解決するために,無線ネットワークにおけるhflのモデルプルーニングを導入し,ニューラルネットワークのスケールを縮小する。 本稿では,モデルプルーニングによるHFLの勾配のl2ノルム上における収束解析を行い,モデルプルーニング方式の計算および通信遅延を分析し,プルーニング比と無線リソース割り当てを協調最適化することにより,所定の遅延閾値の下で収束率を最大化する最適化問題を定式化する。 最適化問題を解き、KKT(Karush Kuhn Tucker)条件を用いることで、プルーニング比と無線リソース割り当ての閉形式解が導出される。 シミュレーションの結果,提案したHFLとモデルプルーニングを併用したHFLは,モデルプルーニングを使用せず,通信コストを約50%削減できることがわかった。

関連論文リスト

• Joint Model Pruning and Resource Allocation for Wireless Time-triggered Federated Learning [31.628735588144096]
  タイムトリガー付きフェデレーション学習は、一定時間間隔に基づいてユーザーを階層に編成する。 無線時間トリガーシステムにモデルプルーニングを適用し、プルーニング比と帯域幅割り当ての最適化に関する問題を共同研究する。 提案するTT-Pruneは,モデルプルーニングを伴わない非同期多層FLと比較して,通信コストを40%削減することを示した。
  論文  参考訳（メタデータ） (2024-08-03T12:19:23Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity [32.321021292376315]
  我々はヘテロジニアスネットワーク(HetNets)におけるプルーニング可能な階層型フェデレーションラーニング(PHFL)を提案する。 まず、モデルプルーニングと無線通信の影響を明確に示す収束率の上限を導出する。 提案するPHFLアルゴリズムの有効性を,テスト精度,壁面時計時間,エネルギー消費,帯域幅要件の観点から検証した。
  論文  参考訳（メタデータ） (2023-08-03T07:03:33Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Delay-Aware Hierarchical Federated Learning [7.292078085289465]
  本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。 グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。 数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-22T09:23:29Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。