論文の概要: SEAFL: Enhancing Efficiency in Semi-Asynchronous Federated Learning through Adaptive Aggregation and Selective Training

• arxiv url: http://arxiv.org/abs/2503.05755v1
• Date: Sat, 22 Feb 2025 05:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 09:17:26.302850
• Title: SEAFL: Enhancing Efficiency in Semi-Asynchronous Federated Learning through Adaptive Aggregation and Selective Training
• Title（参考訳）: SEAFL: アダプティブアグリゲーションと選択学習による半非同期フェデレーション学習の効率向上
• Authors: Md Sirajul Islam, Sanjeev Panta, Fei Xu, Xu Yuan, Li Chen, Nian-Feng Tzeng,
• Abstract要約: 半非同期FLにおけるストラグラーと古いモデルの課題を緩和するために設計された新しいFLフレームワークであるSEAFLを提案する。 Em SEAFLは、現在のグローバルモデルに対する安定性と重要性に基づいて、アグリゲーション中にアップロードされたモデルに重みを動的に割り当てる。 我々は,3つのベンチマークデータセットを用いた広範囲な実験により,SEAFLの有効性を評価する。
• 参考スコア（独自算出の注目度）: 26.478852701376294
• License:
• Abstract: Federated Learning (FL) is a promising distributed machine learning framework that allows collaborative learning of a global model across decentralized devices without uploading their local data. However, in real-world FL scenarios, the conventional synchronous FL mechanism suffers from inefficient training caused by slow-speed devices, commonly known as stragglers, especially in heterogeneous communication environments. Though asynchronous FL effectively tackles the efficiency challenge, it induces substantial system overheads and model degradation. Striking for a balance, semi-asynchronous FL has gained increasing attention, while still suffering from the open challenge of stale models, where newly arrived updates are calculated based on outdated weights that easily hurt the convergence of the global model. In this paper, we present {\em SEAFL}, a novel FL framework designed to mitigate both the straggler and the stale model challenges in semi-asynchronous FL. {\em SEAFL} dynamically assigns weights to uploaded models during aggregation based on their staleness and importance to the current global model. We theoretically analyze the convergence rate of {\em SEAFL} and further enhance the training efficiency with an extended variant that allows partial training on slower devices, enabling them to contribute to global aggregation while reducing excessive waiting times. We evaluate the effectiveness of {\em SEAFL} through extensive experiments on three benchmark datasets. The experimental results demonstrate that {\em SEAFL} outperforms its closest counterpart by up to $\sim$22\% in terms of the wall-clock training time required to achieve target accuracy.
• Abstract（参考訳）: Federated Learning(FL)は、分散機械学習フレームワークで、ローカルデータをアップロードすることなく、分散化されたデバイス間でグローバルモデルの協調学習を可能にする。 しかし、現実のFLシナリオでは、従来の同期FLメカニズムは、特に異種通信環境において、トラグラーとして知られる低速デバイスによって引き起こされる非効率な訓練に悩まされる。 非同期FLは効率の課題に効果的に取り組むが、システムオーバーヘッドとモデル劣化を引き起こす。 バランスを保ちながら半非同期FLは注目されつつも,グローバルモデルの収束を損なうような時代遅れの重みに基づいて,新たに到着した更新が計算される古いモデルのオープンチャレンジに悩まされている。 本稿では,半非同期FLにおけるストラグラーとスタイルモデルの課題を緩和する新しいFLフレームワークである {\em SEAFL} を提案する。 {\em SEAFL} は、現在のグローバルモデルに対する安定性と重要性に基づいて、アグリゲーション中にアップロードされたモデルに重みを動的に割り当てる。 理論的には, 収束速度を理論的に解析し, 遅いデバイスで部分的トレーニングが可能で, 過度の待ち時間を低減しつつ, グローバルアグリゲーションに寄与できる拡張変種を用いて, トレーニング効率をさらに向上させる。 3つのベンチマークデータセットに対する広範囲な実験により, {\em SEAFL} の有効性を評価する。 実験の結果,目標精度を達成するのに要する壁面時間トレーニング時間を最大$\sim$22\%に向上することが示された。

関連論文リスト

• Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations [35.58487905412915]
  異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。 T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。 本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-05-11T11:55:26Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
  フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。 FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
  論文  参考訳（メタデータ） (2023-12-16T11:40:49Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Semi-Asynchronous Federated Edge Learning Mechanism via Over-the-air Computation [4.598679151181452]
  FEELシステムのトレーニング効率を向上させるために,AirCompスキーム(PAOTA)を用いた半非同期アグリゲーションFEEL機構を提案する。 提案アルゴリズムは, 理想的な局所SGDに近い収束性能を実現する。
  論文  参考訳（メタデータ） (2023-05-06T15:06:03Z)
• Delay-Aware Hierarchical Federated Learning [7.292078085289465]
  本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。 グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。 数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-22T09:23:29Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。