論文の概要: Semi-Synchronous Federated Learning

• arxiv url: http://arxiv.org/abs/2102.02849v1
• Date: Thu, 4 Feb 2021 19:33:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-08 13:04:36.798830
• Title: Semi-Synchronous Federated Learning
• Title（参考訳）: 半同期フェデレーション学習
• Authors: Dimitris Stripelis and Jose Luis Ambite
• Abstract要約: 本稿では,局所モデルを最小のアイドル時間と高速収束で周期的に混合する半同期フェデレート学習プロトコルを提案する。 提案手法は,データおよび計算上不均一な環境における過去の研究を著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 1.1168121941015012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are situations where data relevant to a machine learning problem are distributed among multiple locations that cannot share the data due to regulatory, competitiveness, or privacy reasons. For example, data present in users' cellphones, manufacturing data of companies in a given industrial sector, or medical records located at different hospitals. Federated Learning (FL) provides an approach to learn a joint model over all the available data across silos. In many cases, participating sites have different data distributions and computational capabilities. In these heterogeneous environments previous approaches exhibit poor performance: synchronous FL protocols are communication efficient, but have slow learning convergence; conversely, asynchronous FL protocols have faster convergence, but at a higher communication cost. Here we introduce a novel Semi-Synchronous Federated Learning protocol that mixes local models periodically with minimal idle time and fast convergence. We show through extensive experiments that our approach significantly outperforms previous work in data and computationally heterogeneous environments.
• Abstract（参考訳）: 機械学習の問題に関連するデータは、規制、競争力、またはプライバシー上の理由によりデータを共有できない複数の場所に分散する状況があります。 例えば、ユーザーの携帯電話にあるデータ、特定の産業分野の企業の製造データ、または異なる病院にある医療記録などである。 Federated Learning(FL)は、サイロ全体で利用可能なすべてのデータに関する共同モデルを学ぶためのアプローチを提供します。 多くの場合、参加サイトは異なるデータ分布と計算能力を持っている。 同期flプロトコルは通信効率は優れていますが、学習の収束は遅く、逆に非同期flプロトコルの方がコンバージェンスが速く、通信コストも高くなります。 本稿では,局所モデルを最小のアイドル時間と高速収束に周期的に混合する半同期フェデレート学習プロトコルを提案する。 提案手法は,データおよび計算上不均一な環境における過去の研究を著しく上回っていることを示す。

関連論文リスト

• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• Federated Impression for Learning with Distributed Heterogeneous Data [19.50235109938016]
  フェデレートラーニング(FL)は、データを共有することなく、クライアント間で分散データセットから学習できるパラダイムを提供する。 FLでは、データ収集プロトコルや患者人口の多様さにより、異なる保健所のデータに準最適収束が一般的である。 我々は,グローバル情報を表す合成データをフェデレーションとして復元することで,破滅的な忘れを緩和するFedImpresを提案する。
  論文  参考訳（メタデータ） (2024-09-11T15:37:52Z)
• Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
  フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。 しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。 本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:56Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse [49.1501082763252]
  本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。 動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。 そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。 ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-11-07T04:33:24Z)
• Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
  フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。 本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。 上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2021-06-17T12:30:40Z)
• Scaling Neuroscience Research using Federated Learning [1.2234742322758416]
  単一の場所にデータをコピーする必要がある機械学習アプローチは、データ共有の課題によって妨げられる。 Federated Learningは、データサイロ上で共同モデルを学ぶための有望なアプローチです。 このアーキテクチャは対象データをサイト間で共有せず、集約されたパラメータのみであり、しばしば暗号化された環境で共有する。
  論文  参考訳（メタデータ） (2021-02-16T20:30:04Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Accelerating Federated Learning in Heterogeneous Data and Computational Environments [0.7106986689736825]
  本稿では,分散検証集合に対するフェデレーションにおける学習者の性能を評価する分散検証重み付け方式(DVW)を提案する。 我々は、DVWがFedAvgのような確立された手法よりも優れた性能をもたらすことを実証的に示す。
  論文  参考訳（メタデータ） (2020-08-25T21:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。