論文の概要: Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity

• arxiv url: http://arxiv.org/abs/2308.03521v1
• Date: Fri, 4 Aug 2023 04:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 13:52:56.353480
• Title: Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity
• Title（参考訳）: データ不均一性を考慮した無線フェデレーション学習の解析と最適化
• Authors: Xuefeng Han, Jun Li, Wen Chen, Zhen Mei, Kang Wei, Ming Ding, H.Vincent Poor
• Abstract要約: 本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 72.85248553787538
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: With the rapid proliferation of smart mobile devices, federated learning (FL) has been widely considered for application in wireless networks for distributed model training. However, data heterogeneity, e.g., non-independently identically distributions and different sizes of training data among clients, poses major challenges to wireless FL. Limited communication resources complicate the implementation of fair scheduling which is required for training on heterogeneous data, and further deteriorate the overall performance. To address this issue, this paper focuses on performance analysis and optimization for wireless FL, considering data heterogeneity, combined with wireless resource allocation. Specifically, we first develop a closed-form expression for an upper bound on the FL loss function, with a particular emphasis on data heterogeneity described by a dataset size vector and a data divergence vector. Then we formulate the loss function minimization problem, under constraints on long-term energy consumption and latency, and jointly optimize client scheduling, resource allocation, and the number of local training epochs (CRE). Next, via the Lyapunov drift technique, we transform the CRE optimization problem into a series of tractable problems. Extensive experiments on real-world datasets demonstrate that the proposed algorithm outperforms other benchmarks in terms of the learning accuracy and energy consumption.
• Abstract（参考訳）: スマートモバイルデバイスの急速な普及に伴い、フェデレーション学習(fl)は分散モデルトレーニングのための無線ネットワークへの応用として広く検討されている。 しかし、例えば、非独立に同一の分布とクライアント間のトレーニングデータのサイズの異なるデータ不均一性は、無線FLに大きな課題をもたらす。 限られた通信資源は、異種データのトレーニングに必要な公平なスケジューリングの実装を複雑にし、全体的な性能をさらに低下させる。 そこで本稿では,データの不均一性を考慮した無線FLの性能解析と最適化と,無線リソース割り当てについて述べる。 具体的には、まずFL損失関数の上界に対する閉形式表現を開発し、特にデータセットサイズベクトルとデータ分散ベクトルで表されるデータ不均一性に着目した。 次に,長期エネルギー消費とレイテンシの制約の下で損失関数最小化問題を定式化し,クライアントスケジューリング,リソース割り当て,ローカルトレーニングエポック数(cre)を共同で最適化する。 次に、リアプノフドリフト法により、CRE最適化問題を一連のトラクタブル問題に変換する。 実世界のデータセットに対する大規模な実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。

関連論文リスト

• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency for Federated Learning with Static and Streaming Dataset [23.11152686493894]
  Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。 本稿では、バッチサイズと集約周波数の相互作用を利用して、動的FLトレーニングにおける収束、コスト、完了時間間のトレードオフをナビゲートする新しい解析モデルと最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-20T08:36:12Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Clustered Data Sharing for Non-IID Federated Learning over Wireless Networks [39.80420645943706]
  Federated Learning (FL)は、IoT(Internet of Things)のデータを活用する分散型機械学習アプローチである。 現在のFLアルゴリズムは、非独立で同一の分散データ(非IID)の課題に直面しており、通信コストが高く、モデルの精度が低下する。 本稿では,デバイス間通信(D2D)を通じて,クラスタヘッドから信頼性の高いアソシエイトへの部分的データ通信を行うクラスタデータ共有フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-17T07:11:02Z)
• Communication-Efficient Device Scheduling for Federated Learning Using Stochastic Optimization [26.559267845906746]
  Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。 本稿では,非効率収束境界アルゴリズムを提案する。 また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-01-19T23:25:24Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。