論文の概要: Controlling Participation in Federated Learning with Feedback
- arxiv url: http://arxiv.org/abs/2411.19242v1
- Date: Thu, 28 Nov 2024 16:26:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:18:42.242797
- Title: Controlling Participation in Federated Learning with Feedback
- Title(参考訳): フィードバックによるフェデレーション学習における参加制御
- Authors: Michael Cummins, Guner Dilsad Er, Michael Muehlebach,
- Abstract要約: FedBackは、ADMMベースのフェデレーション学習におけるクライアントの参加を管理するための決定論的アプローチである。
フェデレーション画像分類に関する数値実験は、FedBackが最大50%の通信改善と計算効率を達成することを示した。
- 参考スコア(独自算出の注目度): 5.994477544297931
- License:
- Abstract: We address the problem of client participation in federated learning, where traditional methods typically rely on a random selection of a small subset of clients for each training round. In contrast, we propose FedBack, a deterministic approach that leverages control-theoretic principles to manage client participation in ADMM-based federated learning. FedBack models client participation as a discrete-time dynamical system and employs an integral feedback controller to adjust each client's participation rate individually, based on the client's optimization dynamics. We provide global convergence guarantees for our approach by building on the recent federated learning research. Numerical experiments on federated image classification demonstrate that FedBack achieves up to 50\% improvement in communication and computational efficiency over algorithms that rely on a random selection of clients.
- Abstract(参考訳): 従来の手法では,訓練ラウンド毎に少数のクライアントをランダムに選別する手法が一般的である。
これとは対照的に,ADMMに基づくフェデレーション学習におけるクライアントの参加を管理するために制御理論の原則を活用する決定論的アプローチであるFedBackを提案する。
FedBackは、クライアントの参加を離散時間動的システムとしてモデル化し、クライアントの最適化力学に基づいて、各クライアントの参加率を個別に調整する統合フィードバックコントローラを使用する。
我々は,近年の連合学習研究に基づいて,我々のアプローチに対するグローバルコンバージェンス保証を提供する。
フェデレーション画像分類に関する数値実験により、FedBackは、クライアントのランダムな選択に依存するアルゴリズムよりも、通信と計算効率を最大50%改善することを示した。
関連論文リスト
- Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。
1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。
複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
論文 参考訳(メタデータ) (2024-05-22T12:27:24Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳(メタデータ) (2024-05-20T06:12:33Z) - FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。
トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。
本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文 参考訳(メタデータ) (2023-02-13T18:55:31Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-13T02:39:19Z) - FedCM: Federated Learning with Client-level Momentum [18.722626360599065]
FedCM(Federated Averaging with Client-level Momentum)は、実世界のフェデレーション学習アプリケーションにおける部分的参加とクライアントの不均一性の問題に対処するために提案される。
FedCMは、以前の通信ラウンドにおけるグローバルな勾配情報を集約し、モーメントのような用語でクライアントの勾配降下を修正し、バイアスを効果的に補正し、局所的なSGDの安定性を向上させる。
論文 参考訳(メタデータ) (2021-06-21T06:16:19Z) - FedGP: Correlation-Based Active Client Selection for Heterogeneous
Federated Learning [33.996041254246585]
相関に基づくクライアント選択戦略に基づいて構築されたフェデレート学習フレームワークであるFedGPを提案する。
通信コストを削減するために,過去のサンプルを効率的に活用したGPトレーニング手法を開発した。
学習した相関関係に基づいて,各ラウンドで期待されるグローバル損失の低減を図り,クライアントの選択を導出する。
論文 参考訳(メタデータ) (2021-03-24T03:25:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。