論文の概要: Anchor Sampling for Federated Learning with Partial Client Participation
- arxiv url: http://arxiv.org/abs/2206.05891v2
- Date: Mon, 29 May 2023 01:35:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 04:09:04.223314
- Title: Anchor Sampling for Federated Learning with Partial Client Participation
- Title（参考訳）: 部分的クライアント参加によるフェデレーション学習のためのアンカーサンプリング
- Authors: Feijie Wu, Song Guo, Zhihao Qu, Shiqi He, Ziming Liu, Jing Gao
- Abstract要約: 本稿では,フェデラルクライアント参加のためのフェデラルラーニング(Federated Learning,FedAMD)を提案する。
中心となるアイデアはアンカーサンプリングであり、部分的な参加者をアンカーグループとマイナーグループに分離する。
2つのグループの結果を統合することで、FedAMDはトレーニングプロセスを加速し、モデルのパフォーマンスを向上させることができる。
- 参考スコア（独自算出の注目度）: 17.8094483221845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compared with full client participation, partial client participation is a
more practical scenario in federated learning, but it may amplify some
challenges in federated learning, such as data heterogeneity. The lack of
inactive clients' updates in partial client participation makes it more likely
for the model aggregation to deviate from the aggregation based on full client
participation. Training with large batches on individual clients is proposed to
address data heterogeneity in general, but their effectiveness under partial
client participation is not clear. Motivated by these challenges, we propose to
develop a novel federated learning framework, referred to as FedAMD, for
partial client participation. The core idea is anchor sampling, which separates
partial participants into anchor and miner groups. Each client in the anchor
group aims at the local bullseye with the gradient computation using a large
batch. Guided by the bullseyes, clients in the miner group steer multiple
near-optimal local updates using small batches and update the global model. By
integrating the results of the two groups, FedAMD is able to accelerate the
training process and improve the model performance. Measured by
$\epsilon$-approximation and compared to the state-of-the-art methods, FedAMD
achieves the convergence by up to $O(1/\epsilon)$ fewer communication rounds
under non-convex objectives. Empirical studies on real-world datasets validate
the effectiveness of FedAMD and demonstrate the superiority of the proposed
algorithm: Not only does it considerably save computation and communication
costs, but also the test accuracy significantly improves.
- Abstract（参考訳）: 完全なクライアント参加と比較すると、部分的なクライアント参加は連合学習においてより実用的なシナリオであるが、データの多様性のような連合学習におけるいくつかの課題を増幅する可能性がある。
部分的なクライアント参加における非アクティブなクライアントのアップデートの欠如により、モデル集約が完全なクライアント参加に基づいて集約から逸脱する可能性が高くなる。
個々のクライアントに対する大規模なバッチによるトレーニングは、一般的にデータの多様性に対処するために提案されているが、部分的なクライアント参加による効果は明確ではない。
これらの課題に乗じて,フェデラルクライアント参加のためのフェデラルラーニングフレームワークであるFedAMDを開発することを提案する。
コアとなるアイデアはアンカーサンプリングで、部分的な参加者をアンカーグループとマイナーグループに分離する。
アンカーグループの各クライアントは、大きなバッチを使用して勾配計算を行うローカルブルジーを目標としている。
ブルシーズによってガイドされ、マイナーグループのクライアントは、小さなバッチを使用して複数のほぼ最適のローカルアップデートを実行し、グローバルモデルを更新します。
2つのグループの結果を統合することで、feedamdはトレーニングプロセスを加速し、モデルのパフォーマンスを向上させることができる。
FedAMDは$\epsilon$-approximationによって測定され、最先端の手法と比較して、非凸目的の下での通信ラウンドの少ない$O(1/\epsilon)$収束を達成する。
実世界のデータセットに関する実証的研究は、feedamdの有効性を検証し、提案アルゴリズムの優れていることを示す。
関連論文リスト
- SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。
既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。
本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文 参考訳（メタデータ） (2024-06-18T01:56:22Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳（メタデータ） (2023-07-17T15:40:45Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-04-11T14:51:55Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-30T04:03:31Z) - Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。
FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。
FLの主な課題の1つは、通信オーバーヘッドである。
本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-05T22:09:21Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。