論文の概要: Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients

• arxiv url: http://arxiv.org/abs/2102.06329v1
• Date: Fri, 12 Feb 2021 02:27:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:00:24.325668
• Title: Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients
• Title（参考訳）: ストラグラーは災害ではない:遅延勾配を持つハイブリッドフェデレーション学習アルゴリズム
• Authors: Xingyu Li, Zhe Qu, Bo Tang, Zhuo Lu
• Abstract要約: フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
• 参考スコア（独自算出の注目度）: 21.63719641718363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a new machine learning framework which trains a joint model across a large amount of decentralized computing devices. Existing methods, e.g., Federated Averaging (FedAvg), are able to provide an optimization guarantee by synchronously training the joint model, but usually suffer from stragglers, i.e., IoT devices with low computing power or communication bandwidth, especially on heterogeneous optimization problems. To mitigate the influence of stragglers, this paper presents a novel FL algorithm, namely Hybrid Federated Learning (HFL), to achieve a learning balance in efficiency and effectiveness. It consists of two major components: synchronous kernel and asynchronous updater. Unlike traditional synchronous FL methods, our HFL introduces the asynchronous updater which actively pulls unsynchronized and delayed local weights from stragglers. An adaptive approximation method, Adaptive Delayed-SGD (AD-SGD), is proposed to merge the delayed local updates into the joint model. The theoretical analysis of HFL shows that the convergence rate of the proposed algorithm is $\mathcal{O}(\frac{1}{t+\tau})$ for both convex and non-convex optimization problems.
• Abstract（参考訳）: フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 既存の方法、例えばFederated Averaging(FedAvg)は、ジョイントモデルを同期的にトレーニングすることによって最適化保証を提供することができるが、通常、低コンピューティングパワーや通信帯域のIoTデバイス、特に異種最適化問題に悩まされる。 そこで本稿では,ストラグラーの影響を軽減するために,ハイブリッドフェデレーション学習(hfl)と呼ばれる新しいflアルゴリズムを提案する。 同期カーネルと非同期アップデートの2つの主要なコンポーネントで構成されている。 従来の同期FLメソッドとは異なり、HFLは非同期更新器を導入し、非同期および遅延ローカル重み付けをトラグラーから積極的に引き出す。 適応近似法であるAdaptive Delayed-SGD (AD-SGD) を提案し,遅延局所更新を結合モデルにマージする。 HFLの理論解析により、提案アルゴリズムの収束率は、凸と非凸の最適化問題に対して$\mathcal{O}(\frac{1}{t+\tau})$であることが示されている。

関連論文リスト

• Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations [35.58487905412915]
  異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。 T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。 本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-05-11T11:55:26Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Delay-Aware Hierarchical Federated Learning [7.292078085289465]
  本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。 グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。 数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-22T09:23:29Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
  無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。 提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
  論文  参考訳（メタデータ） (2022-04-26T16:37:29Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。