論文の概要: Fast Federated Learning in the Presence of Arbitrary Device Unavailability

• arxiv url: http://arxiv.org/abs/2106.04159v1
• Date: Tue, 8 Jun 2021 07:46:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 15:40:20.052552
• Title: Fast Federated Learning in the Presence of Arbitrary Device Unavailability
• Title（参考訳）: 任意デバイス利用可能性を考慮した高速フェデレーション学習
• Authors: Xinran Gu, Kaixuan Huang, Jingzhao Zhang, Longbo Huang
• Abstract要約: Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。 我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
• 参考スコア（独自算出の注目度）: 26.368873771739715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) coordinates with numerous heterogeneous devices to collaboratively train a shared model while preserving user privacy. Despite its multiple advantages, FL faces new challenges. One challenge arises when devices drop out of the training process beyond the control of the central server. In this case, the convergence of popular FL algorithms such as FedAvg is severely influenced by the straggling devices. To tackle this challenge, we study federated learning algorithms under arbitrary device unavailability and propose an algorithm named Memory-augmented Impatient Federated Averaging (MIFA). Our algorithm efficiently avoids excessive latency induced by inactive devices, and corrects the gradient bias using the memorized latest updates from the devices. We prove that MIFA achieves minimax optimal convergence rates on non-i.i.d. data for both strongly convex and non-convex smooth functions. We also provide an explicit characterization of the improvement over baseline algorithms through a case study, and validate the results by numerical experiments on real-world datasets.
• Abstract（参考訳）: federated learning(fl)は、多数の異種デバイスと協調して、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 多くの利点があるにもかかわらず、FLは新しい課題に直面している。 ひとつの課題は、デバイスが中央サーバの制御を超えたトレーニングプロセスから外れたときだ。 この場合、FedAvgのような一般的なFLアルゴリズムの収束は、ストラグリングデバイスに大きく影響される。 この課題に取り組むために,任意のデバイス使用不可能下でのフェデレーション学習アルゴリズムを調査し,mifa(memory-augmented impatient federated averaging)というアルゴリズムを提案する。 本アルゴリズムは,非活性デバイスによる過度の遅延を効率よく回避し,記憶された最新情報を用いて勾配バイアスを補正する。 mifa が非i.i.d 上の最小最適収束率を達成することを証明している。 強い凸と非凸の滑らかな関数のデータ。 また,実世界のデータセットにおける数値実験により,ベースラインアルゴリズムに対する改善の明示的な特徴付けを行い,結果の検証を行った。

関連論文リスト

• FLARE: A New Federated Learning Framework with Adjustable Learning Rates over Resource-Constrained Wireless Networks [20.048146776405005]
  ワイヤレス・フェデレート・ラーニング(WFL)は、データ分散、計算能力、チャネル条件などにおいて不均一性に悩まされている。 本稿では,Federated Learning Adjusted lean ratE (FLR ratE)による新しいアイデアを提案する。 FLAREが一貫してベースラインを上回っている実験。
  論文  参考訳（メタデータ） (2024-04-23T07:48:17Z)
• Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method [14.986031916712108]
  クロスデバイスフェデレーション学習(FL)は成長する機械学習フレームワークであり、複数のエッジデバイスが協力して、生データを公開せずにモデルをトレーニングする。 学習アルゴリズム自体において、その影響を解析する代わりに、無線チャネルを利用する方法を示す。
  論文  参考訳（メタデータ） (2024-01-30T21:46:09Z)
• Device Scheduling for Relay-assisted Over-the-Air Aggregation in Federated Learning [9.735236606901038]
  フェデレートラーニング(FL)は、ネットワークの端で分散されたデータを活用して、インテリジェントなアプリケーションを実現する。 本稿では,リレー支援FLフレームワークを提案し,リレー支援FLシステムにおけるデバイススケジューリング問題について検討する。
  論文  参考訳（メタデータ） (2023-12-15T03:04:39Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2022-01-24T08:56:06Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Multi-task Federated Edge Learning (MtFEEL) in Wireless Networks [1.9250873974729816]
  フェデレートラーニング(FL)は、エッジデバイス間の分散機械学習を扱うための有望な技術として進化してきた。 保証付き無線環境でのパーソナライズドラーニングのための通信効率の良いFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:54:38Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。