論文の概要: On the Convergence of Federated Averaging with Cyclic Client
Participation
- arxiv url: http://arxiv.org/abs/2302.03109v1
- Date: Mon, 6 Feb 2023 20:18:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 18:11:23.158622
- Title: On the Convergence of Federated Averaging with Cyclic Client
Participation
- Title(参考訳): 周期的クライアント参加によるフェデレーションの収束性について
- Authors: Yae Jee Cho, Pranay Sharma, Gauri Joshi, Zheng Xu, Satyen Kale, Tong
Zhang
- Abstract要約: Averaging(FedAvg)とその変種は、フェデレートラーニング(FL)における最も一般的な最適化アルゴリズムである。
FedAvgの以前の収束分析では、クライアントが一様にサンプリングできる完全なクライアント参加または部分的なクライアント参加を前提としています。
実際のデバイス間FLシステムでは、バッテリーの状態、ネットワーク接続、最大参加頻度要件(プライバシを確保するために)といったローカルな基準を満たすクライアントのサブセットのみが、所定のタイミングでトレーニングするために利用できる。
- 参考スコア(独自算出の注目度): 27.870720693512045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Averaging (FedAvg) and its variants are the most popular
optimization algorithms in federated learning (FL). Previous convergence
analyses of FedAvg either assume full client participation or partial client
participation where the clients can be uniformly sampled. However, in practical
cross-device FL systems, only a subset of clients that satisfy local criteria
such as battery status, network connectivity, and maximum participation
frequency requirements (to ensure privacy) are available for training at a
given time. As a result, client availability follows a natural cyclic pattern.
We provide (to our knowledge) the first theoretical framework to analyze the
convergence of FedAvg with cyclic client participation with several different
client optimizers such as GD, SGD, and shuffled SGD. Our analysis discovers
that cyclic client participation can achieve a faster asymptotic convergence
rate than vanilla FedAvg with uniform client participation under suitable
conditions, providing valuable insights into the design of client sampling
protocols.
- Abstract(参考訳): フェデレーション平均化(FedAvg)とその変種は、フェデレーション学習(FL)における最も一般的な最適化アルゴリズムである。
以前のFedAvgの収束分析では、クライアントの全参加を前提とするか、クライアントを一様にサンプリングできる部分的なクライアント参加を前提としています。
しかしながら、実用的なクロスデバイスflシステムでは、バッテリステータス、ネットワーク接続性、(プライバシを確保するために)最大参加頻度要件などのローカル基準を満たすクライアントのサブセットのみが、所定の時間にトレーニングに利用できる。
その結果、クライアントの可用性は自然な循環パターンに従う。
当社の知識では、循環型クライアントとgd、sgd、shuffled sgdのような複数の異なるクライアントオプティマイザによるfedavgの収束を分析する最初の理論的枠組みを提供します。
本分析により, クライアントの循環参加は, 適切な条件下での均一なクライアント参加により, バニラFedAvgよりも早く漸近収束率を達成できることがわかった。
関連論文リスト
- Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。
1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。
複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
論文 参考訳(メタデータ) (2024-05-22T12:27:24Z) - FilFL: Client Filtering for Optimized Client Participation in Federated
Learning [95.27347185031265]
クライアントフィルタリングを導入し,クライアント参加とトレーニングを最適化する新たなアプローチであるFilFLを提案する。
FilFLは利用可能なクライアントを定期的にフィルタリングし、効率的なグリーディフィルタリングアルゴリズムを用いて目的関数を最大化するサブセットを特定する。
実験の結果,学習効率の向上,収束の高速化,テスト精度の最大10%向上など,我々のアプローチのメリットを実証した。
論文 参考訳(メタデータ) (2023-02-13T18:55:31Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - A Unified Analysis of Federated Learning with Arbitrary Client
Participation [33.86606068136201]
Federated Learning(FL)は、断続的なクライアント可用性と計算/通信効率の課題に直面します。
部分的なクライアントの参加が収束にどのように影響するかを理解することが重要です。
我々は、任意のクライアント参加を伴うFLの統一収束解析を提供する。
論文 参考訳(メタデータ) (2022-05-26T21:56:31Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-13T02:39:19Z) - Client Selection Approach in Support of Clustered Federated Learning
over Wireless Edge Networks [2.6774008509840996]
CFL(Clustered Federated Multitask Learning)は、信頼性の高い専門モデルを得るための効率的なスキームとして導入された。
本稿では,特殊な機械学習モデルを得るための収束率の向上を目的とした,新しいクライアント選択アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-16T21:38:22Z) - Client Selection in Federated Learning: Convergence Analysis and
Power-of-Choice Selection Strategies [29.127689561987964]
フェデレートラーニングにより、多数のリソース制限されたクライアントノードが、データ共有なしで協調的にモデルをトレーニングできる。
局所的損失の高いクライアントに対するクライアント選択の偏りは、より高速なエラー収束を実現することを示す。
通信および計算効率の高いクライアント選択フレームワークであるPower-of-Choiceを提案する。
論文 参考訳(メタデータ) (2020-10-03T01:04:17Z) - Distributed Non-Convex Optimization with Sublinear Speedup under
Intermittent Client Availability [46.85205907718874]
フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。
本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。
我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。
我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
論文 参考訳(メタデータ) (2020-02-18T06:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。