Fugu-MT 論文翻訳(概要): Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates

論文の概要: Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates

arxiv url: http://arxiv.org/abs/2403.18375v1
Date: Wed, 27 Mar 2024 09:14:36 GMT
ステータス: 処理完了
システム内更新日: 2024-03-28 17:37:28.036565
Title: Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates
Title（参考訳）: 層幅モデル更新による低レイテンシ同期学習を意識したストラグラー
Authors: Natalie Lang, Alejandro Cohen, Nir Shlezinger,
Abstract要約: 同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
参考スコア（独自算出の注目度）: 71.81037644563217
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Synchronous federated learning (FL) is a popular paradigm for collaborative edge learning. It typically involves a set of heterogeneous devices locally training neural network (NN) models in parallel with periodic centralized aggregations. As some of the devices may have limited computational resources and varying availability, FL latency is highly sensitive to stragglers. Conventional approaches discard incomplete intra-model updates done by stragglers, alter the amount of local workload and architecture, or resort to asynchronous settings; which all affect the trained model performance under tight training latency constraints. In this work, we propose straggler-aware layer-wise federated learning (SALF) that leverages the optimization procedure of NNs via backpropagation to update the global model in a layer-wise fashion. SALF allows stragglers to synchronously convey partial gradients, having each layer of the global model be updated independently with a different contributing set of users. We provide a theoretical analysis, establishing convergence guarantees for the global model under mild assumptions on the distribution of the participating devices, revealing that SALF converges at the same asymptotic rate as FL with no timing limitations. This insight is matched with empirical observations, demonstrating the performance gains of SALF compared to alternative mechanisms mitigating the device heterogeneity gap in FL.
Abstract（参考訳）: 同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一般的には、ニューラルネットワーク(NN)モデルを周期的な集中集約と並行してローカルにトレーニングする異種デバイスのセットが関与する。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。従来のアプローチでは、トラグラーによる不完全なモデル内更新の廃止、ローカルワークロードとアーキテクチャの変更、あるいは非同期設定に代えて行われる。本研究では,階層的モデル更新のためのバックプロパゲーションによるNNの最適化手法を活用する,階層型階層型フェデレーション学習(SALF)を提案する。 SALFにより、ストラグラーは部分的な勾配を同期的に伝達することができ、グローバルモデルの各レイヤは、異なるコントリビューションのユーザセットと独立して更新される。理論解析により,グローバルモデルに対する収束保証を,参加機器の分布を軽度に仮定して確立し,SALFが時間制限のないFLと同じ漸近速度で収束することを明らかにする。この知見は経験的観察と一致し, FLのデバイス不均一性ギャップを緩和する代替メカニズムと比較して, SALFの性能向上を実証した。

関連論文リスト

Federated Learning with MMD-based Early Stopping for Adaptive GNSS Interference Classification [4.674584508653125]
フェデレートラーニング(FL)は、複数のデバイスがローカルサーバ上のデータを維持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。本稿では,グローバルサーバ上でのモデルの重み付けと数ショット学習を用いたFL手法を提案する。 FLの模範的な応用は、グローバルナビゲーション衛星システム(GNSS)受信機からのスナップショットに基づいた干渉分類のために、高速道路に沿って機械学習モデルを編成することである。
論文参考訳（メタデータ） (2024-10-21T06:43:04Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Semi-Asynchronous Federated Edge Learning Mechanism via Over-the-air Computation [4.598679151181452]
FEELシステムのトレーニング効率を向上させるために,AirCompスキーム(PAOTA)を用いた半非同期アグリゲーションFEEL機構を提案する。提案アルゴリズムは, 理想的な局所SGDに近い収束性能を実現する。
論文参考訳（メタデータ） (2023-05-06T15:06:03Z)
Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-04T09:26:03Z)
Delay-Aware Hierarchical Federated Learning [7.292078085289465]
本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
論文参考訳（メタデータ） (2023-03-22T09:23:29Z)
Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy Synthesizing Network [19.23943687834319]
フェデレートラーニング(FL)は、将来性のあるプライバシ保護分散機械学習フレームワークとして登場した。我々は、Fed-FSNetと呼ばれる新しいFLトレーニングフレームワークを提案し、Fed-FSNet(Fed-FSNet)を適切に設計し、非I.I.D.のオープンソース問題を軽減する。
論文参考訳（メタデータ） (2022-08-21T18:40:51Z)
Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
論文参考訳（メタデータ） (2022-04-07T20:35:37Z)
Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文参考訳（メタデータ） (2022-02-07T05:11:01Z)
Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文参考訳（メタデータ） (2021-07-23T18:57:08Z)
Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。