論文の概要: On the Convergence of Federated Averaging with Cyclic Client Participation

• arxiv url: http://arxiv.org/abs/2302.03109v1
• Date: Mon, 6 Feb 2023 20:18:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 18:11:23.158622
• Title: On the Convergence of Federated Averaging with Cyclic Client Participation
• Title（参考訳）: 周期的クライアント参加によるフェデレーションの収束性について
• Authors: Yae Jee Cho, Pranay Sharma, Gauri Joshi, Zheng Xu, Satyen Kale, Tong Zhang
• Abstract要約: Averaging(FedAvg)とその変種は、フェデレートラーニング(FL)における最も一般的な最適化アルゴリズムである。 FedAvgの以前の収束分析では、クライアントが一様にサンプリングできる完全なクライアント参加または部分的なクライアント参加を前提としています。 実際のデバイス間FLシステムでは、バッテリーの状態、ネットワーク接続、最大参加頻度要件(プライバシを確保するために)といったローカルな基準を満たすクライアントのサブセットのみが、所定のタイミングでトレーニングするために利用できる。
• 参考スコア（独自算出の注目度）: 27.870720693512045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Averaging (FedAvg) and its variants are the most popular optimization algorithms in federated learning (FL). Previous convergence analyses of FedAvg either assume full client participation or partial client participation where the clients can be uniformly sampled. However, in practical cross-device FL systems, only a subset of clients that satisfy local criteria such as battery status, network connectivity, and maximum participation frequency requirements (to ensure privacy) are available for training at a given time. As a result, client availability follows a natural cyclic pattern. We provide (to our knowledge) the first theoretical framework to analyze the convergence of FedAvg with cyclic client participation with several different client optimizers such as GD, SGD, and shuffled SGD. Our analysis discovers that cyclic client participation can achieve a faster asymptotic convergence rate than vanilla FedAvg with uniform client participation under suitable conditions, providing valuable insights into the design of client sampling protocols.
• Abstract（参考訳）: フェデレーション平均化(FedAvg)とその変種は、フェデレーション学習(FL)における最も一般的な最適化アルゴリズムである。 以前のFedAvgの収束分析では、クライアントの全参加を前提とするか、クライアントを一様にサンプリングできる部分的なクライアント参加を前提としています。 しかしながら、実用的なクロスデバイスflシステムでは、バッテリステータス、ネットワーク接続性、(プライバシを確保するために)最大参加頻度要件などのローカル基準を満たすクライアントのサブセットのみが、所定の時間にトレーニングに利用できる。 その結果、クライアントの可用性は自然な循環パターンに従う。 当社の知識では、循環型クライアントとgd、sgd、shuffled sgdのような複数の異なるクライアントオプティマイザによるfedavgの収束を分析する最初の理論的枠組みを提供します。 本分析により, クライアントの循環参加は, 適切な条件下での均一なクライアント参加により, バニラFedAvgよりも早く漸近収束率を達成できることがわかった。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Debiasing Federated Learning with Correlated Client Participation [25.521881752822164]
  本稿では,FLのクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを紹介する。 すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。 我々は、不偏の最適解に確実に収束するFedAvgの効果的な脱バイアスアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-10-02T03:30:53Z)
• Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
  本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。 複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
  フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。 本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:55:31Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• A Unified Analysis of Federated Learning with Arbitrary Client Participation [39.15781847115902]
  Federated Learning(FL)は、断続的なクライアント可用性と計算/通信効率の課題に直面します。 部分的なクライアントの参加が収束にどのように影響するかを理解することが重要です。 我々は、任意のクライアント参加を伴うFLの統一収束解析を提供する。
  論文  参考訳（メタデータ） (2022-05-26T21:56:31Z)
• Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability [46.85205907718874]
  フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。 本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。 我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。 我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
  論文  参考訳（メタデータ） (2020-02-18T06:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。