論文の概要: Semi-Synchronous Federated Learning
- arxiv url: http://arxiv.org/abs/2102.02849v1
- Date: Thu, 4 Feb 2021 19:33:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 13:04:36.798830
- Title: Semi-Synchronous Federated Learning
- Title(参考訳): 半同期フェデレーション学習
- Authors: Dimitris Stripelis and Jose Luis Ambite
- Abstract要約: 本稿では,局所モデルを最小のアイドル時間と高速収束で周期的に混合する半同期フェデレート学習プロトコルを提案する。
提案手法は,データおよび計算上不均一な環境における過去の研究を著しく上回っていることを示す。
- 参考スコア(独自算出の注目度): 1.1168121941015012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There are situations where data relevant to a machine learning problem are
distributed among multiple locations that cannot share the data due to
regulatory, competitiveness, or privacy reasons. For example, data present in
users' cellphones, manufacturing data of companies in a given industrial
sector, or medical records located at different hospitals. Federated Learning
(FL) provides an approach to learn a joint model over all the available data
across silos. In many cases, participating sites have different data
distributions and computational capabilities. In these heterogeneous
environments previous approaches exhibit poor performance: synchronous FL
protocols are communication efficient, but have slow learning convergence;
conversely, asynchronous FL protocols have faster convergence, but at a higher
communication cost. Here we introduce a novel Semi-Synchronous Federated
Learning protocol that mixes local models periodically with minimal idle time
and fast convergence. We show through extensive experiments that our approach
significantly outperforms previous work in data and computationally
heterogeneous environments.
- Abstract(参考訳): 機械学習の問題に関連するデータは、規制、競争力、またはプライバシー上の理由によりデータを共有できない複数の場所に分散する状況があります。
例えば、ユーザーの携帯電話にあるデータ、特定の産業分野の企業の製造データ、または異なる病院にある医療記録などである。
Federated Learning(FL)は、サイロ全体で利用可能なすべてのデータに関する共同モデルを学ぶためのアプローチを提供します。
多くの場合、参加サイトは異なるデータ分布と計算能力を持っている。
同期flプロトコルは通信効率は優れていますが、学習の収束は遅く、逆に非同期flプロトコルの方がコンバージェンスが速く、通信コストも高くなります。
本稿では,局所モデルを最小のアイドル時間と高速収束に周期的に混合する半同期フェデレート学習プロトコルを提案する。
提案手法は,データおよび計算上不均一な環境における過去の研究を著しく上回っていることを示す。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Federated Learning with Reduced Information Leakage and Computation [20.005520306964485]
フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。
本稿では,偶数反復毎に一階近似を適用した新しいフェデレーション学習フレームワークであるUpcycled-FLを紹介する。
このフレームワークの下では、FL更新の半分は情報漏洩を発生させることなく、はるかに少ない計算を必要とする。
論文 参考訳(メタデータ) (2023-10-10T06:22:06Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳(メタデータ) (2023-07-12T16:28:21Z) - HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics
in Industrial Metaverse [49.1501082763252]
本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。
動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。
そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。
ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
論文 参考訳(メタデータ) (2022-11-07T04:33:24Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。
本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。
上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
論文 参考訳(メタデータ) (2021-06-17T12:30:40Z) - Real-time End-to-End Federated Learning: An Automotive Case Study [16.79939549201032]
本稿では,新しい非同期モデルアグリゲーションプロトコルと組み合わさったリアルタイムエンドツーエンドフェデレーション学習のアプローチを提案する。
その結果,非同期フェデレーション学習は,局所エッジモデルの予測性能を大幅に向上させ,集中型機械学習法と同じ精度に到達できることがわかった。
論文 参考訳(メタデータ) (2021-03-22T14:16:16Z) - Scaling Neuroscience Research using Federated Learning [1.2234742322758416]
単一の場所にデータをコピーする必要がある機械学習アプローチは、データ共有の課題によって妨げられる。
Federated Learningは、データサイロ上で共同モデルを学ぶための有望なアプローチです。
このアーキテクチャは対象データをサイト間で共有せず、集約されたパラメータのみであり、しばしば暗号化された環境で共有する。
論文 参考訳(メタデータ) (2021-02-16T20:30:04Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - Accelerating Federated Learning in Heterogeneous Data and Computational
Environments [0.7106986689736825]
本稿では,分散検証集合に対するフェデレーションにおける学習者の性能を評価する分散検証重み付け方式(DVW)を提案する。
我々は、DVWがFedAvgのような確立された手法よりも優れた性能をもたらすことを実証的に示す。
論文 参考訳(メタデータ) (2020-08-25T21:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。