論文の概要: Fast Federated Learning by Balancing Communication Trade-Offs

• arxiv url: http://arxiv.org/abs/2105.11028v1
• Date: Sun, 23 May 2021 21:55:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 06:08:06.770324
• Title: Fast Federated Learning by Balancing Communication Trade-Offs
• Title（参考訳）: コミュニケーションのトレードオフによるファストフェデレーション学習
• Authors: Milad Khademi Nori, Sangseok Yun, and Il-Min Kim
• Abstract要約: Federated Learning (FL)は最近、大規模なプライバシ保護機械学習に対して多くの注目を集めている。 頻繁な勾配透過による通信オーバーヘッドはFLを減速させる。 本稿では,Fast FL(Fast FL)とFast FL(Fast FL)の2変数を協調的に動的に調整し,学習誤差を最小限に抑える拡張FLスキームを提案する。
• 参考スコア（独自算出の注目度）: 9.89867121050673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) has recently received a lot of attention for large-scale privacy-preserving machine learning. However, high communication overheads due to frequent gradient transmissions decelerate FL. To mitigate the communication overheads, two main techniques have been studied: (i) local update of weights characterizing the trade-off between communication and computation and (ii) gradient compression characterizing the trade-off between communication and precision. To the best of our knowledge, studying and balancing those two trade-offs jointly and dynamically while considering their impacts on convergence has remained unresolved even though it promises significantly faster FL. In this paper, we first formulate our problem to minimize learning error with respect to two variables: local update coefficients and sparsity budgets of gradient compression who characterize trade-offs between communication and computation/precision, respectively. We then derive an upper bound of the learning error in a given wall-clock time considering the interdependency between the two variables. Based on this theoretical analysis, we propose an enhanced FL scheme, namely Fast FL (FFL), that jointly and dynamically adjusts the two variables to minimize the learning error. We demonstrate that FFL consistently achieves higher accuracies faster than similar schemes existing in the literature.
• Abstract（参考訳）: federated learning(fl)は最近、大規模なプライバシ保存機械学習で多くの注目を集めている。 しかし、頻繁な勾配伝達による通信オーバーヘッドはflを減速させる。 通信オーバーヘッドを軽減するために, (i) 通信と計算のトレードオフを特徴とする重み付けの局所更新と (ii) 通信と精度のトレードオフを特徴付ける勾配圧縮の2つの手法が研究されている。 私たちの知る限りでは、これら2つのトレードオフを共同かつ動的に研究し、バランスをとると同時に、収束性への影響を考慮することは、flを大幅に高速化することを約束しながらも、未解決のままです。 本稿では,まず,通信と計算/精度のトレードオフを特徴付ける局所更新係数と勾配圧縮のスパーシティ予算という2つの変数について,学習誤差を最小化する問題を定式化する。 次に,2変数間の相互依存を考慮した壁面時間における学習誤差の上限を導出する。 この理論解析に基づいて,Fast FL(Fast FL)と呼ばれる拡張FLスキームを提案し,この2変数を協調的かつ動的に調整し,学習誤差を最小限に抑える。 FFLは文献上に存在する類似のスキームよりも高い精度を確実に達成できることを示す。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Sparse Training for Federated Learning with Regularized Error Correction [9.852567834643292]
  Federated Learning(FL)は、ディープニューラルネットワーク(DNN)モデルをトレーニングする上で大きなメリットがあるため、大きな関心を集めている。 FLAREは、FLプロセスへの埋め込みを正規化した更新モデルの累積引き込みによる新しいスパーストレーニング手法を提案する。 FLAREの性能は、多種多様な複雑なモデルに関する広範な実験を通じて検証され、顕著なスパーシリティレベル(現在の最先端の10倍以上の)を達成するとともに、精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-12-21T12:36:53Z)
• How Robust is Federated Learning to Communication Error? A Comparison Study Between Uplink and Downlink Channels [13.885735785986164]
  本稿では,アップリンクおよびダウンリンク通信誤りに対するフェデレーション学習の堅牢性について検討する。 FLにおけるアップリンク通信は、ダウンリンク通信よりも高いビット誤り率(BER)を許容できることが示されている。
  論文  参考訳（メタデータ） (2023-10-25T14:03:11Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Efficient Adaptive Federated Optimization of Federated Learning for IoT [0.0]
  本稿では、フェデレート学習(FL)の効率を改善するために、新しい適応型適応型最適化(EAFO)アルゴリズムを提案する。 FLは分散プライバシ保護学習フレームワークで、モデルパラメータを共有することで、IoTデバイスがグローバルモデルをトレーニングできる。 実験の結果,提案したEAFOはより高速に精度を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-06-23T01:49:12Z)
• Resource Allocation for Compression-aided Federated Learning with High Distortion Rate [3.7530276852356645]
  我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。 参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
  論文  参考訳（メタデータ） (2022-06-02T05:00:37Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。