論文の概要: Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2001.08277v1
• Date: Wed, 22 Jan 2020 20:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 18:03:42.015722
• Title: Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning
• Title（参考訳）: 通信効率のよい連合学習のための局所補償による間欠的引き抜き
• Authors: Haozhao Wang, Zhihao Qu, Song Guo, Xin Gao, Ruixuan Li, and Baoliu Ye
• Abstract要約: Federated Learningは、高度に分散したデータでグローバルモデルをトレーニングするための強力な機械学習パラダイムである。 分散SGDの性能における大きなボトルネックは、ローカルおよびプルグローバルモデルをプッシュする際の通信オーバーヘッドである。 本稿では,通信オーバーヘッドを低減するため,PRLC (Gradient Pulling Compensation) という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 20.964434898554344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning is a powerful machine learning paradigm to cooperatively train a global model with highly distributed data. A major bottleneck on the performance of distributed Stochastic Gradient Descent (SGD) algorithm for large-scale Federated Learning is the communication overhead on pushing local gradients and pulling global model. In this paper, to reduce the communication complexity of Federated Learning, a novel approach named Pulling Reduction with Local Compensation (PRLC) is proposed. Specifically, each training node intermittently pulls the global model from the server in SGD iterations, resulting in that it is sometimes unsynchronized with the server. In such a case, it will use its local update to compensate the gap between the local model and the global model. Our rigorous theoretical analysis of PRLC achieves two important findings. First, we prove that the convergence rate of PRLC preserves the same order as the classical synchronous SGD for both strongly-convex and non-convex cases with good scalability due to the linear speedup with respect to the number of training nodes. Second, we show that PRLC admits lower pulling frequency than the existing pulling reduction method without local compensation. We also conduct extensive experiments on various machine learning models to validate our theoretical results. Experimental results show that our approach achieves a significant pulling reduction over the state-of-the-art methods, e.g., PRLC requiring only half of the pulling operations of LAG.
• Abstract（参考訳）: Federated Learningは、高度に分散したデータでグローバルモデルを協調訓練する強力な機械学習パラダイムである。 大規模フェデレーション学習のための分散確率勾配降下(sgd)アルゴリズムの性能における大きなボトルネックは、局所勾配を押してグローバルモデルを引く際の通信オーバーヘッドである。 本稿では,フェデレートラーニングの通信複雑性を低減するために,Pulling Reduction with Local Compensation (PRLC) という新しい手法を提案する。 具体的には、各トレーニングノードは、sgdイテレーションでグローバルモデルをサーバから断続的に引き出すため、サーバと同期しない場合もある。 そのような場合、ローカルモデルとグローバルモデルの間のギャップを補うためにローカルアップデートを使用する。 PRLCの厳密な理論的解析は2つの重要な結果をもたらす。 まず, PRLCの収束速度は, トレーニングノード数に対する線形高速化によるスケーラビリティに優れる, 強凸および非凸の双方に対して, 古典的同期SGDと同じ順序を保っていることを示す。 第2に,PRLCは局所的な補償を伴わない既存の引き込み低減法よりも低周波であることを示す。 また、理論的結果を検証するために、様々な機械学習モデルに関する広範な実験を行った。 実験結果より, PRLC は LAG の牽引操作の半分しか必要としないなど, 最先端手法よりも大幅なプルダウンを実現することが示唆された。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Learn Locally, Correct Globally: A Distributed Algorithm for Training Graph Neural Networks [22.728439336309858]
  通信効率の良い分散GNNトレーニング手法であるtextLearn Locally, Correct Globally$ (LLCG)を提案する。 LLCGは、異なるマシン間のノード間の依存関係を無視してGNNをローカルデータでトレーニングし、その後、定期的なモデル平均化のためにローカルにトレーニングされたモデルをサーバに送信する。 我々は,GNNを訓練するための周期モデル平均化による分散手法の収束度を厳密に分析し,周期モデル平均化を適用するが,ノード間の依存性を無視することは既約残差に悩まされることを示す。
  論文  参考訳（メタデータ） (2021-11-16T03:07:01Z)
• Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency [15.04034188283642]
  Local SGDは分散学習における通信オーバーヘッドを克服するための有望なアプローチである。 局所sgdaは均質データと異質データの両方において分散ミニマックス問題を確実に最適化できることを示す。
  論文  参考訳（メタデータ） (2021-02-25T20:15:18Z)
• Federated Learning with Communication Delay in Edge Networks [5.500965885412937]
  フェデレーション学習は、エッジネットワークを通じて機械学習(ML)モデルのトレーニングを分散する潜在的なソリューションとして、大きな注目を集めている。 この研究は、エッジノードとアグリゲータ間の通信遅延という、ネットワークエッジにおけるフェデレーション学習の重要な考慮事項に対処する。 FedDelAvg(フェデレート遅延平均化)と呼ばれる手法が開発され、標準フェデレーション平均化アルゴリズムを一般化し、同期ステップ中に各デバイスで受信した現在のローカルモデルと遅延グローバルモデルとの重み付けを組み込む。
  論文  参考訳（メタデータ） (2020-08-21T06:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。