論文の概要: FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data

• arxiv url: http://arxiv.org/abs/2005.11418v3
• Date: Tue, 7 Jul 2020 22:04:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 08:42:31.579956
• Title: FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data
• Title（参考訳）: FedPD: 最適なレートと非IIDデータへの適応性を備えたフェデレーション学習フレームワーク
• Authors: Xinwei Zhang, Mingyi Hong, Sairaj Dhople, Wotao Yin and Yang Liu
• Abstract要約: フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
• 参考スコア（独自算出の注目度）: 59.50904660420082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) has become a popular paradigm for learning from distributed data. To effectively utilize data at different devices without moving them to the cloud, algorithms such as the Federated Averaging (FedAvg) have adopted a "computation then aggregation" (CTA) model, in which multiple local updates are performed using local data, before sending the local models to the cloud for aggregation. However, these schemes typically require strong assumptions, such as the local data are identically independent distributed (i.i.d), or the size of the local gradients are bounded. In this paper, we first explicitly characterize the behavior of the FedAvg algorithm, and show that without strong and unrealistic assumptions on the problem structure, the algorithm can behave erratically for non-convex problems (e.g., diverge to infinity). Aiming at designing FL algorithms that are provably fast and require as few assumptions as possible, we propose a new algorithm design strategy from the primal-dual optimization perspective. Our strategy yields a family of algorithms that take the same CTA model as existing algorithms, but they can deal with the non-convex objective, achieve the best possible optimization and communication complexity while being able to deal with both the full batch and mini-batch local computation models. Most importantly, the proposed algorithms are {\it communication efficient}, in the sense that the communication pattern can be adaptive to the level of heterogeneity among the local data. To the best of our knowledge, this is the first algorithmic framework for FL that achieves all the above properties.
• Abstract（参考訳）: フェデレーション学習(fl)は、分散データから学ぶための一般的なパラダイムになっています。 異なるデバイスのデータをクラウドに移動せずに効果的に活用するために、フェデレーション平均化(federated averaging, fedavg)のようなアルゴリズムは、ローカルデータを使用して複数のローカル更新を行い、その前にローカルモデルをクラウドにアグリゲーションする"computation then aggregate"(cta)モデルを採用している。 しかし、これらのスキームは一般に強い仮定を必要とする。例えば、局所データは同一独立分散(d)、あるいは局所勾配のサイズは有界である。 本稿では,fedavgアルゴリズムの振る舞いを明示的に特徴付け,問題構造に対する強固かつ非現実的な仮定がなければ,非凸問題(例えば無限性)に対して不規則に振る舞うことができることを示す。 そこで本研究では, 高速で, 可能な限り少ない仮定を必要とするflアルゴリズムの設計を目標とし, 基本最適化の観点から新しいアルゴリズム設計戦略を提案する。 我々の戦略は、既存のアルゴリズムと同じCTAモデルを採用するアルゴリズム群を出力するが、非凸目的に対処し、全バッチとミニバッチの局所計算モデルの両方を処理しながら、最適な最適化と通信の複雑さを達成することができる。 最も重要なことは、通信パターンが局所データ間の不均一性レベルに適応できるという意味で、提案されたアルゴリズムは {\it communication efficient} である。 私たちの知る限りでは、このフレームワークは上記のすべての特性を達成する最初のflのアルゴリズムフレームワークです。

関連論文リスト

• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
  Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。 我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。 実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
  論文  参考訳（メタデータ） (2022-06-21T17:45:35Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
  Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。 ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。 次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:56:03Z)
• Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
  局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。 提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
  論文  参考訳（メタデータ） (2020-12-04T15:46:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。