論文の概要: Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity

• arxiv url: http://arxiv.org/abs/2308.01562v3
• Date: Sun, 24 Mar 2024 05:50:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 03:28:06.395879
• Title: Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity
• Title（参考訳）: 無線ネットワークにおける階層的フェデレーション学習--タックルバンド幅スカシティとシステム不均一性
• Authors: Md Ferdous Pervej, Richeng Jin, Huaiyu Dai,
• Abstract要約: 我々はヘテロジニアスネットワーク(HetNets)におけるプルーニング可能な階層型フェデレーションラーニング(PHFL)を提案する。 まず、モデルプルーニングと無線通信の影響を明確に示す収束率の上限を導出する。 提案するPHFLアルゴリズムの有効性を,テスト精度,壁面時計時間,エネルギー消費,帯域幅要件の観点から検証した。
• 参考スコア（独自算出の注目度）: 32.321021292376315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While a practical wireless network has many tiers where end users do not directly communicate with the central server, the users' devices have limited computation and battery powers, and the serving base station (BS) has a fixed bandwidth. Owing to these practical constraints and system models, this paper leverages model pruning and proposes a pruning-enabled hierarchical federated learning (PHFL) in heterogeneous networks (HetNets). We first derive an upper bound of the convergence rate that clearly demonstrates the impact of the model pruning and wireless communications between the clients and the associated BS. Then we jointly optimize the model pruning ratio, central processing unit (CPU) frequency and transmission power of the clients in order to minimize the controllable terms of the convergence bound under strict delay and energy constraints. However, since the original problem is not convex, we perform successive convex approximation (SCA) and jointly optimize the parameters for the relaxed convex problem. Through extensive simulation, we validate the effectiveness of our proposed PHFL algorithm in terms of test accuracy, wall clock time, energy consumption and bandwidth requirement.
• Abstract（参考訳）: 実際の無線ネットワークは、エンドユーザが中央サーバと直接通信しない層が多数あるが、ユーザのデバイスは計算能力とバッテリ能力に制限があり、サービスベースステーション(BS)は固定帯域幅を持つ。 これらの実用的制約とシステムモデルにより、モデルプルーニングを活用し、ヘテロジニアスネットワーク(HetNets)におけるプルーニング可能な階層型学習(PHFL)を提案する。 まず、モデルプルーニングとクライアントと関連するBS間の無線通信の影響を明確に示す収束率の上限を導出する。 そして、厳密な遅延とエネルギー制約の下での収束の制御可能な項を最小化するために、モデルプルーニング比、中央処理ユニット(CPU)周波数および送信電力を協調的に最適化する。 しかし、元の問題は凸ではないため、連続凸近似(SCA)を行い、緩和凸問題のパラメータを共同最適化する。 提案するPHFLアルゴリズムの有効性を,実験精度,壁面時計時間,エネルギー消費量,帯域幅要求量の観点から検証した。

関連論文リスト

• Joint Model Pruning and Resource Allocation for Wireless Time-triggered Federated Learning [31.628735588144096]
  タイムトリガー付きフェデレーション学習は、一定時間間隔に基づいてユーザーを階層に編成する。 無線時間トリガーシステムにモデルプルーニングを適用し、プルーニング比と帯域幅割り当ての最適化に関する問題を共同研究する。 提案するTT-Pruneは,モデルプルーニングを伴わない非同期多層FLと比較して,通信コストを40%削減することを示した。
  論文  参考訳（メタデータ） (2024-08-03T12:19:23Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Quantized Federated Learning under Transmission Delay and Outage Constraints [30.892724364965005]
  フェデレートラーニング(Federated Learning)は、無線エッジ内の巨大なモバイルデバイスと協調して機械学習モデルをトレーニングする、実行可能な分散学習パラダイムである。 無線リソースが限られている実用的なシステムでは、多数のモデルパラメータの送信は量子化エラー(QE)と送信停止(TO)に必然的に悩まされる。 我々は,無線リソースと量子化ビットをクライアント間で共同で割り当て,QEを最小化するとともに,クライアントがTO確率を持つようにする,堅牢なFLスキームFedTOEを提案する。
  論文  参考訳（メタデータ） (2021-06-17T11:29:12Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Harnessing Wireless Channels for Scalable and Privacy-Preserving Federated Learning [56.94644428312295]
  無線接続は、フェデレートラーニング(FL)の実現に有効である Channel randomnessperturbs 各ワーカはモデル更新をインバージョンし、複数のワーカはバンド幅に大きな干渉を発生させる。 A-FADMMでは、すべてのワーカーがモデル更新をアナログ送信を介して単一のチャンネルを使用してパラメータサーバにアップロードする。 これは通信帯域幅を節約するだけでなく、各ワーカーの正確なモデル更新軌跡を任意の盗聴者から隠蔽する。
  論文  参考訳（メタデータ） (2020-07-03T16:31:15Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。