論文の概要: Federated Learning with Buffered Asynchronous Aggregation

• arxiv url: http://arxiv.org/abs/2106.06639v1
• Date: Fri, 11 Jun 2021 23:29:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 15:51:49.323064
• Title: Federated Learning with Buffered Asynchronous Aggregation
• Title（参考訳）: バッファ付き非同期アグリゲーションによるフェデレーション学習
• Authors: John Nguyen, Kshitiz Malik, Hongyuan Zhan, Ashkan Yousefpour, Michael Rabbat, Mani Malek Esmaeili, Dzmitry Huba
• Abstract要約: Federated Learning (FL)は、トレーニングデータをデバイス上に保持しながら、分散デバイス間で共有モデルをトレーニングする。 ほとんどのFLスキームは同期であり、個々のデバイスからモデル更新を集約する。 同期FLと非同期FLを組み合わせたFedBuffを提案する。
• 参考スコア（独自算出の注目度）: 0.7327285556439885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) trains a shared model across distributed devices while keeping the training data on the devices. Most FL schemes are synchronous: they perform a synchronized aggregation of model updates from individual devices. Synchronous training can be slow because of late-arriving devices (stragglers). On the other hand, completely asynchronous training makes FL less private because of incompatibility with secure aggregation. In this work, we propose a model aggregation scheme, FedBuff, that combines the best properties of synchronous and asynchronous FL. Similar to synchronous FL, FedBuff is compatible with secure aggregation. Similar to asynchronous FL, FedBuff is robust to stragglers. In FedBuff, clients trains asynchronously and send updates to the server. The server aggregates client updates in a private buffer until updates have been received, at which point a server model update is immediately performed. We provide theoretical convergence guarantees for FedBuff in a non-convex setting. Empirically, FedBuff converges up to 3.8x faster than previous proposals for synchronous FL (e.g., FedAvgM), and up to 2.5x faster than previous proposals for asynchronous FL (e.g., FedAsync). We show that FedBuff is robust to different staleness distributions and is more scalable than synchronous FL techniques.
• Abstract（参考訳）: federated learning(fl)は、トレーニングデータをデバイスに保持しながら、分散デバイス間で共有モデルをトレーニングする。 ほとんどのFLスキームは同期であり、個々のデバイスからモデル更新を同期的に集約する。 同期トレーニングは遅いデバイス(ストラグラー)のために遅くなる可能性がある。 一方で、完全に非同期なトレーニングは、セキュアなアグリゲーションと互換性がないため、flのプライベート性が低下する。 本稿では,同期FLと非同期FLの最適特性を組み合わせたモデルアグリゲーション方式であるFedBuffを提案する。 同期FLと同様に、FedBuffはセキュアアグリゲーションと互換性がある。 非同期FLと同様に、FedBuffはストラグラーに対して堅牢である。 FedBuffでは、クライアントは非同期にトレーニングし、サーバにアップデートを送信する。 サーバは、更新が受信されるまでクライアント更新をプライベートバッファに集約し、その時点でサーバモデル更新が即座に実行される。 非凸条件でのFedBuffに対する理論的収束保証を提供する。 経験的に、FedBuffは同期FLの以前の提案(例えば、FedAvgM)よりも最大3.8倍、非同期FLの以前の提案(例えば、FedAsync)より最大2.5倍速く収束する。 我々は,FedBuffが異なる定常分布に対して堅牢であり,同期FL技術よりもスケーラブルであることを示す。

関連論文リスト

• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• Enhancing Convergence in Federated Learning: A Contribution-Aware Asynchronous Approach [0.0]
  Federated Learning(FL)は、クライアントがプライバシを保持しながらデータ上でモデルをトレーニングできる分散機械学習パラダイムである。 フェデレート平均化(FedAvg)やその変種などのFLアルゴリズムは、多くのシナリオにおいてよく収束することが示されている。 しかし、これらの手法ではクライアントがローカル更新を同期的にサーバにアップロードする必要があるため、現実的なFL設定では遅くて信頼性が低い。 本稿では、受信した更新の安定性と統計的不均一性を考慮に入れたコントリビューション対応非同期FL法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T12:10:53Z)
• Momentum Approximation in Asynchronous Private Federated Learning [26.57367597853813]
  運動量近似は、運動量を持つ既存のFLと比較すると、収束速度が1.15のテクスム−-4タイムで達成できる。 モメンタム近似は、小さな通信とストレージコストで、実運用FLシステムに容易に統合できる。
  論文  参考訳（メタデータ） (2024-02-14T15:35:53Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates [10.609815608017065]
  我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。 私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。 我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
  論文  参考訳（メタデータ） (2022-06-21T08:46:05Z)
• Papaya: Practical, Private, and Scalable Federated Learning [6.833772874570774]
  クロスデバイス・フェデレーション・ラーニング(FL)は分散学習パラダイムであり、いくつかの課題がある。 文献で説明されているほとんどのFLシステムは同期であり、個々のクライアントからモデル更新を同期で集約します。 本稿では,実運用における非同期FLシステムの設計について概説する。
  論文  参考訳（メタデータ） (2021-11-08T23:46:42Z)
• Secure Aggregation for Buffered Asynchronous Federated Learning [4.893896929103367]
  フェデレーテッド・ラーニング(FL)は一般的に同期トレーニングに依存している。 非同期トレーニングはストラグラーを効率的に扱うが、セキュアなアグリゲーションプロトコルと互換性がないため、プライバシを確保することはできない。 FedBuffとして知られるバッファリング非同期トレーニングプロトコルが最近提案され、同期トレーニングと非同期トレーニングのギャップを埋めて、トラグラーを緩和し、同時にプライバシーを確保する。
  論文  参考訳（メタデータ） (2021-10-05T17:07:02Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。