論文の概要: On the Unreasonable Effectiveness of Federated Averaging with Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2206.04723v1
• Date: Thu, 9 Jun 2022 18:25:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 07:16:14.254319
• Title: On the Unreasonable Effectiveness of Federated Averaging with Heterogeneous Data
• Title（参考訳）: 不均一データを用いたフェデレート平均化の有効性について
• Authors: Jianyu Wang, Rudrajit Das, Gauri Joshi, Satyen Kale, Zheng Xu, Tong Zhang
• Abstract要約: 既存の理論では、フェデレーション学習におけるフェデレーション平均化(FedAvg)アルゴリズムの性能は、データの不均一性が低下すると予想している。 本稿では,従来の理論的予測と矛盾するFedAvgの有効性について述べる。
• 参考スコア（独自算出の注目度）: 39.600069116159695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing theory predicts that data heterogeneity will degrade the performance of the Federated Averaging (FedAvg) algorithm in federated learning. However, in practice, the simple FedAvg algorithm converges very well. This paper explains the seemingly unreasonable effectiveness of FedAvg that contradicts the previous theoretical predictions. We find that the key assumption of bounded gradient dissimilarity in previous theoretical analyses is too pessimistic to characterize data heterogeneity in practical applications. For a simple quadratic problem, we demonstrate there exist regimes where large gradient dissimilarity does not have any negative impact on the convergence of FedAvg. Motivated by this observation, we propose a new quantity, average drift at optimum, to measure the effects of data heterogeneity, and explicitly use it to present a new theoretical analysis of FedAvg. We show that the average drift at optimum is nearly zero across many real-world federated training tasks, whereas the gradient dissimilarity can be large. And our new analysis suggests FedAvg can have identical convergence rates in homogeneous and heterogeneous data settings, and hence, leads to better understanding of its empirical success.
• Abstract（参考訳）: 既存の理論では、フェデレーション学習におけるフェデレーション平均化(FedAvg)アルゴリズムの性能は、データの不均一性が低下すると予想している。 しかし、実際には単純なfedavgアルゴリズムは非常によく収束する。 本稿では,従来の理論的予測と矛盾するFedAvgの有効性について述べる。 従来の理論解析における有界勾配の相似性の鍵となる仮定は、実際的な応用においてデータの不均一性を特徴づけるには悲観的すぎる。 単純な二次問題に対して、FedAvgの収束に大きな勾配差が負の影響を及ぼさない状態が存在することを示す。 本研究の目的は,データ不均一性の影響を測定するために,新たな量,平均ドリフトを最適に計算し,FedAvgの新たな理論的解析を行うことである。 我々は,多くの実世界の訓練課題において,最適時の平均ドリフトがほぼゼロであるのに対し,勾配差は大きいことを示す。 そして、我々の新しい分析は、FedAvgが同種および異種データ設定において同じ収束率を持つことを示唆し、その結果、その経験的成功をよりよく理解する。

関連論文リスト

• A New Theoretical Perspective on Data Heterogeneity in Federated Optimization [39.75009345804017]
  連邦学習(FL)において、データ不均一性は、既存の理論解析が収束率について悲観的である主な理由である。 特に多くのFLアルゴリズムでは、局所的な更新数が大きくなると収束率が劇的に増加する。 本稿では,理論的理解と実践的パフォーマンスのギャップを,新たな視点からの理論的分析を提供することによって埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-07-22T11:52:58Z)
• Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
  本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
  コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。 非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。 この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-25T20:02:51Z)
• Exact nonlinear state estimation [0.0]
  地質学におけるデータ同化法の大部分はガウスの仮定に基づいている。 非パラメトリックな粒子ベースDAアルゴリズムは精度が優れているが、高次元モデルへの応用は依然として運用上の課題となっている。 本稿では,DA手法の既存のギャップを埋めようとする新しい非線形推定理論を紹介する。
  論文  参考訳（メタデータ） (2023-10-17T03:44:29Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data [0.261072980439312]
  非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。 理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
  論文  参考訳（メタデータ） (2023-03-01T02:13:22Z)
• A Convergence Theory for Federated Average: Beyond Smoothness [28.074273047592065]
  フェデレートラーニングにより、大量のエッジコンピューティングデバイスが、データ共有を併用せずにモデルを学習できるようになる。 この設定における主要なアルゴリズムとして、ローカルデバイス上でGradient Descent(SGD)を並列に実行するFederated Average FedAvgが広く使用されている。 本稿では,フェデレートラーニングに関する理論的収束研究について述べる。
  論文  参考訳（メタデータ） (2022-11-03T04:50:49Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。