論文の概要: Joint Model Pruning and Resource Allocation for Wireless Time-triggered Federated Learning

• arxiv url: http://arxiv.org/abs/2408.01765v1
• Date: Sat, 3 Aug 2024 12:19:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 18:30:57.893618
• Title: Joint Model Pruning and Resource Allocation for Wireless Time-triggered Federated Learning
• Title（参考訳）: 無線時間トリガー・フェデレーションラーニングのための連成モデルプルーニングと資源配分
• Authors: Xinlu Zhang, Yansha Deng, Toktam Mahmoodi,
• Abstract要約: タイムトリガー付きフェデレーション学習は、一定時間間隔に基づいてユーザーを階層に編成する。 無線時間トリガーシステムにモデルプルーニングを適用し、プルーニング比と帯域幅割り当ての最適化に関する問題を共同研究する。 提案するTT-Pruneは,モデルプルーニングを伴わない非同期多層FLと比較して,通信コストを40%削減することを示した。
• 参考スコア（独自算出の注目度）: 31.628735588144096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time-triggered federated learning, in contrast to conventional event-based federated learning, organizes users into tiers based on fixed time intervals. However, this network still faces challenges due to a growing number of devices and limited wireless bandwidth, increasing issues like stragglers and communication overhead. In this paper, we apply model pruning to wireless Time-triggered systems and jointly study the problem of optimizing the pruning ratio and bandwidth allocation to minimize training loss under communication latency constraints. To solve this joint optimization problem, we perform a convergence analysis on the gradient $l_2$-norm of the asynchronous multi-tier federated learning (FL) model with adaptive model pruning. The convergence upper bound is derived and a joint optimization problem of pruning ratio and wireless bandwidth is defined to minimize the model training loss under a given communication latency constraint. The closed-form solutions for wireless bandwidth and pruning ratio by using KKT conditions are then formulated. As indicated in the simulation experiments, our proposed TT-Prune demonstrates a 40% reduction in communication cost, compared with the asynchronous multi-tier FL without model pruning, while maintaining the model convergence at the same level.
• Abstract（参考訳）: 従来のイベントベースのフェデレーションラーニングとは対照的に、タイムトリガーによるフェデレーションラーニングは、一定時間間隔に基づいてユーザーを階層に編成する。 しかし、このネットワークはデバイス数の増加や無線帯域幅の制限、トラグラーや通信オーバーヘッドの増大など、依然として課題に直面している。 本稿では,無線タイムトリガシステムにモデルプルーニングを適用し,通信遅延制約下でのトレーニング損失を最小限に抑えるために,プルーニング率と帯域割り当てを最適化する問題を共同研究する。 この共同最適化問題を解決するために,適応モデルプルーニングを用いた非同期多層連合学習(FL)モデルの勾配$l_2$-normの収束解析を行う。 収束上限を導出し、所定の通信遅延制約下でのモデルトレーニング損失を最小限に抑えるために、プルーニング比と無線帯域幅の合同最適化問題を定義する。 そして、KKT条件を用いて、無線帯域幅とプルーニング比の閉形式解を定式化する。 シミュレーション実験で示されたように,提案するTT-Pruneは,モデルプルーニングを伴わない非同期多層FLと比較して,同じレベルでモデル収束を維持しつつ,通信コストを40%削減することを示した。

関連論文リスト

• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity [32.321021292376315]
  我々はヘテロジニアスネットワーク(HetNets)におけるプルーニング可能な階層型フェデレーションラーニング(PHFL)を提案する。 まず、モデルプルーニングと無線通信の影響を明確に示す収束率の上限を導出する。 提案するPHFLアルゴリズムの有効性を,テスト精度,壁面時計時間,エネルギー消費,帯域幅要件の観点から検証した。
  論文  参考訳（メタデータ） (2023-08-03T07:03:33Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
  無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。 提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
  論文  参考訳（メタデータ） (2022-04-26T16:37:29Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)
• Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
  Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。 本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T08:19:54Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。