論文の概要: Papaya: Practical, Private, and Scalable Federated Learning
- arxiv url: http://arxiv.org/abs/2111.04877v1
- Date: Mon, 8 Nov 2021 23:46:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-10 16:00:51.631493
- Title: Papaya: Practical, Private, and Scalable Federated Learning
- Title(参考訳): papaya: 実践的でプライベートでスケーラブルな連合学習
- Authors: Dzmitry Huba, John Nguyen, Kshitiz Malik, Ruiyu Zhu, Mike Rabbat,
Ashkan Yousefpour, Carole-Jean Wu, Hongyuan Zhan, Pavel Ustinov, Harish
Srinivas, Kaikai Wang, Anthony Shoumikhin, Jesik Min, Mani Malek
- Abstract要約: クロスデバイス・フェデレーション・ラーニング(FL)は分散学習パラダイムであり、いくつかの課題がある。
文献で説明されているほとんどのFLシステムは同期であり、個々のクライアントからモデル更新を同期で集約します。
本稿では,実運用における非同期FLシステムの設計について概説する。
- 参考スコア(独自算出の注目度): 6.833772874570774
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-device Federated Learning (FL) is a distributed learning paradigm with
several challenges that differentiate it from traditional distributed learning,
variability in the system characteristics on each device, and millions of
clients coordinating with a central server being primary ones. Most FL systems
described in the literature are synchronous - they perform a synchronized
aggregation of model updates from individual clients. Scaling synchronous FL is
challenging since increasing the number of clients training in parallel leads
to diminishing returns in training speed, analogous to large-batch training.
Moreover, stragglers hinder synchronous FL training. In this work, we outline a
production asynchronous FL system design. Our work tackles the aforementioned
issues, sketches of some of the system design challenges and their solutions,
and touches upon principles that emerged from building a production FL system
for millions of clients. Empirically, we demonstrate that asynchronous FL
converges faster than synchronous FL when training across nearly one hundred
million devices. In particular, in high concurrency settings, asynchronous FL
is 5x faster and has nearly 8x less communication overhead than synchronous FL.
- Abstract(参考訳): クロスデバイスフェデレーション学習(FL)は分散学習パラダイムであり、従来の分散学習と区別するいくつかの課題、各デバイスにおけるシステム特性の多様性、中央サーバとのコーディネートを行う数百万のクライアントがある。
文献で説明されているほとんどのFLシステムは同期であり、個々のクライアントからモデル更新を同期で集約します。
同期FLのスケーリングは、大規模バッチトレーニングに類似したトレーニング速度のリターンを減少させるために、並列でトレーニングするクライアントの数を増やすため、難しい。
さらに、ストラグラーは同期FLトレーニングを妨げる。
本稿では,実運用型非同期flシステムの設計について概説する。
私たちの仕事は、上記の問題に取り組み、システム設計の課題とその解決策のいくつかをスケッチし、何百万ものクライアント向けの製品flシステムの構築から生まれた原則に触れます。
1億台近いデバイスでトレーニングを行う場合,非同期flは同期flよりも高速に収束することを示す。
特に高並行性設定では、非同期FLは同期FLよりも5倍速く、通信オーバーヘッドが8倍近く少ない。
関連論文リスト
- AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳(メタデータ) (2023-12-18T05:18:17Z) - TimelyFL: Heterogeneity-aware Asynchronous Federated Learning with
Adaptive Partial Training [17.84692242938424]
TimelyFLは、適応的な部分的トレーニングを備えた、異種対応の非同期フェデレートラーニングフレームワークである。
我々は、TimelyFLが参加率を21.13%改善し、収束率を1.28倍から2.89倍向上させ、テスト精度を6.25%向上させることを示した。
論文 参考訳(メタデータ) (2023-04-14T06:26:08Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2022-12-14T17:33:01Z) - Multi-Job Intelligent Scheduling with Cross-Device Federated Learning [65.69079337653994]
フェデレートラーニング(FL)は、センシティブな生データを共有せずに、協調的なグローバル機械学習モデルのトレーニングを可能にする。
本稿では,複数のジョブを並列にトレーニングできる新しいマルチジョブFLフレームワークを提案する。
本稿では,元来の強化学習に基づくスケジューリング手法と元来のベイズ最適化に基づくスケジューリング手法を含む,複数のスケジューリング手法に基づく新しいインテリジェントスケジューリング手法を提案する。
論文 参考訳(メタデータ) (2022-11-24T06:17:40Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳(メタデータ) (2022-10-31T22:59:03Z) - Efficient and Light-Weight Federated Learning via Asynchronous
Distributed Dropout [22.584080337157168]
非同期学習プロトコルは最近、特にフェデレートラーニング(FL)設定において注目を集めている。
分散環境でデバイスの不均一性を処理するためにドロップアウト正規化を利用する新しい非同期FLフレームワークである textttAsyncDrop を提案する。
全体として、textttAsyncDropは、最先端の非同期メソッドと比較してパフォーマンスが向上する。
論文 参考訳(メタデータ) (2022-10-28T13:00:29Z) - FL Games: A federated learning framework for distribution shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
論文 参考訳(メタデータ) (2022-05-23T07:51:45Z) - Blockchain-enabled Server-less Federated Learning [5.065631761462706]
我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。
主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
論文 参考訳(メタデータ) (2021-12-15T07:41:23Z) - Device Scheduling and Update Aggregation Policies for Asynchronous
Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。
本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-23T18:57:08Z) - How Does Cell-Free Massive MIMO Support Multiple Federated Learning
Groups? [42.63398054091038]
本研究では,複数のFLプロセスの安定動作を保証するために,セルフリーなマルチインプット多重出力(MIMO)ネットワークを提案する。
次に、マルチキャストダウンリンクおよび従来のアップリンク送信プロトコルの下でFLプロセスの繰り返しを非同期に実行する新しいスキームを開発する。
論文 参考訳(メタデータ) (2021-07-20T15:46:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。