論文の概要: On the Convergence of Federated Learning Algorithms without Data Similarity

• arxiv url: http://arxiv.org/abs/2403.02347v2
• Date: Wed, 19 Jun 2024 12:21:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 04:59:27.295754
• Title: On the Convergence of Federated Learning Algorithms without Data Similarity
• Title（参考訳）: データ類似性のないフェデレーション学習アルゴリズムの収束性について
• Authors: Ali Beikmohammadi, Sarit Khirirat, Sindri Magnússon,
• Abstract要約: 本稿では,データ類似性条件を必要とせずに,フェデレーション学習アルゴリズムの収束を解析するための新しい枠組みを提案する。 我々は,3つの広く使用されているステップサイズスケジュール(固定,縮小,ステップデカイステップサイズ)の正確な表現を導出する。 その結果,収束速度と全体的な性能は著しく向上した。
• 参考スコア（独自算出の注目度）: 11.074080383657453
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Data similarity assumptions have traditionally been relied upon to understand the convergence behaviors of federated learning methods. Unfortunately, this approach often demands fine-tuning step sizes based on the level of data similarity. When data similarity is low, these small step sizes result in an unacceptably slow convergence speed for federated methods. In this paper, we present a novel and unified framework for analyzing the convergence of federated learning algorithms without the need for data similarity conditions. Our analysis centers on an inequality that captures the influence of step sizes on algorithmic convergence performance. By applying our theorems to well-known federated algorithms, we derive precise expressions for three widely used step size schedules: fixed, diminishing, and step-decay step sizes, which are independent of data similarity conditions. Finally, we conduct comprehensive evaluations of the performance of these federated learning algorithms, employing the proposed step size strategies to train deep neural network models on benchmark datasets under varying data similarity conditions. Our findings demonstrate significant improvements in convergence speed and overall performance, marking a substantial advancement in federated learning research.
• Abstract（参考訳）: データ類似性の仮定は、伝統的に、連合学習法の収束挙動を理解するために依存されてきた。 残念なことに、このアプローチはデータ類似度のレベルに基づいて、微調整のステップサイズを必要とすることが多い。 データの類似性が低い場合、これらの小さなステップサイズは、フェデレートされたメソッドに対して、許容できないほど遅い収束速度をもたらす。 本稿では、データ類似性条件を必要とせずに、フェデレーション学習アルゴリズムの収束を分析するための、新しい統一されたフレームワークを提案する。 我々の分析は、ステップサイズがアルゴリズム収束性能に与える影響を捉える不等式に焦点を当てている。 我々の定理をよく知られたフェデレーションアルゴリズムに適用することにより、データ類似性条件に依存しない3つの広く使われているステップサイズ(固定、縮小、ステップデカイステップサイズ)の正確な式を導出する。 最後に、これらのフェデレーション学習アルゴリズムの性能を総合的に評価し、提案したステップサイズ戦略を用いて、様々なデータ類似性条件下で、ベンチマークデータセット上でディープニューラルネットワークモデルをトレーニングする。 本研究は, 統合学習研究において, 収束速度と全体的な性能が著しく向上したことを示すものである。

関連論文リスト

• Quantized Hierarchical Federated Learning: A Robust Approach to Statistical Heterogeneity [3.8798345704175534]
  本稿では,コミュニケーション効率に量子化を組み込んだ新しい階層型フェデレーション学習アルゴリズムを提案する。 最適性ギャップと収束率を評価するための包括的な分析フレームワークを提供する。 この結果から,本アルゴリズムはパラメータの範囲で常に高い学習精度を達成できることが判明した。
  論文  参考訳（メタデータ） (2024-03-03T15:40:24Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Federated Learning via Inexact ADMM [46.99210047518554]
  本稿では,乗算器の不正確な交互方向法(ADMM)を提案する。 どちらも通信効率が高く、ストラグラー効果と戦うことができ、穏やかな条件下で収束する。 フェデレート学習のためのいくつかの最先端アルゴリズムと比較して高い数値性能を持つ。
  論文  参考訳（メタデータ） (2022-04-22T09:55:33Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning [43.51182049644767]
  半教師付き学習(SSL)は,ラベルが限定された強力なモデルを構築する上で,有効な手法であることが長年証明されてきた。 摂動サンプルを元のものと類似した予測を強制する正規化に基づく手法が注目されている。 本稿では,学習ネットワークの埋め込みを誘導し,サンプル間の線形変化を誘導する新たな対照的な損失を提案する。
  論文  参考訳（メタデータ） (2022-02-24T06:00:05Z)
• Federated Learning with Randomized Douglas-Rachford Splitting Methods [30.998685972581754]
  我々は textbfFedDR と textbfDRaa という2つの新しいアルゴリズムを開発した。 解析の結果,新しいアルゴリズムはより低い仮定下での通信効率と一致していることがわかった。
  論文  参考訳（メタデータ） (2021-03-05T03:24:04Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。