論文の概要: Heterogeneity-Guided Client Sampling: Towards Fast and Efficient Non-IID Federated Learning
- arxiv url: http://arxiv.org/abs/2310.00198v2
- Date: Thu, 03 Oct 2024 21:42:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:06:48.771075
- Title: Heterogeneity-Guided Client Sampling: Towards Fast and Efficient Non-IID Federated Learning
- Title（参考訳）: 不均一誘導型クライアントサンプリング:高速かつ効率的な非IIDフェデレーション学習を目指して
- Authors: Huancheng Chen, Haris Vikalo,
- Abstract要約: HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。
非IID設定では、HiCS-FLは最先端のFLクライアント選択方式よりも高速な収束を実現する。
- 参考スコア（独自算出の注目度）: 14.866327821524854
- License:
- Abstract: Statistical heterogeneity of data present at client devices in a federated learning (FL) system renders the training of a global model in such systems difficult. Particularly challenging are the settings where due to communication resource constraints only a small fraction of clients can participate in any given round of FL. Recent approaches to training a global model in FL systems with non-IID data have focused on developing client selection methods that aim to sample clients with more informative updates of the model. However, existing client selection techniques either introduce significant computation overhead or perform well only in the scenarios where clients have data with similar heterogeneity profiles. In this paper, we propose HiCS-FL (Federated Learning via Hierarchical Clustered Sampling), a novel client selection method in which the server estimates statistical heterogeneity of a client's data using the client's update of the network's output layer and relies on this information to cluster and sample the clients. We analyze the ability of the proposed techniques to compare heterogeneity of different datasets, and characterize convergence of the training process that deploys the introduced client selection method. Extensive experimental results demonstrate that in non-IID settings HiCS-FL achieves faster convergence than state-of-the-art FL client selection schemes. Notably, HiCS-FL drastically reduces computation cost compared to existing selection schemes and is adaptable to different heterogeneity scenarios.
- Abstract（参考訳）: 統合学習システム(FL)におけるクライアントデバイスに存在するデータの統計的不均一性は、そのようなシステムにおけるグローバルモデルのトレーニングを困難にしている。
特に難しいのは、通信リソースの制約のため、FLの任意のラウンドに少数のクライアントしか参加できないような設定です。
非IIDデータを用いたFLシステムにおけるグローバルモデルトレーニングへの最近のアプローチは、より情報に富んだモデル更新でクライアントをサンプリングすることを目的としたクライアント選択手法の開発に焦点が当てられている。
しかし、既存のクライアント選択技術は、計算オーバーヘッドを大幅に導入するか、クライアントが同様の不均一プロファイルを持つデータを持つシナリオでのみうまく機能する。
本稿では、サーバがクライアントの出力層を更新してクライアントのデータの統計的不均一性を推定し、この情報をクラスタ化してクライアントをサンプリングする新しいクライアント選択手法であるHiCS-FLを提案する。
提案手法を用いて,異なるデータセットの均一性を比較検討し,導入したクライアント選択手法をデプロイするトレーニングプロセスの収束性を特徴付ける。
非IID環境でのHiCS-FLは、最先端のFLクライアント選択方式よりも高速な収束を実現する。
特に、HiCS-FLは既存の選択方式に比べて計算コストを大幅に削減し、異なる異種性シナリオに適用可能である。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳（メタデータ） (2023-12-29T01:44:20Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - When to Trust Aggregated Gradients: Addressing Negative Client Sampling
in Federated Learning [41.51682329500003]
本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。
我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
論文 参考訳（メタデータ） (2023-01-25T03:52:45Z) - Client Selection in Federated Learning: Principles, Challenges, and
Opportunities [15.33636272844544]
Federated Learning(FL)は、機械学習(ML)モデルをトレーニングするためのプライバシー保護パラダイムである。
典型的なFLシナリオでは、クライアントはデータ分散とハードウェア構成の点で大きな異質性を示す。
様々なクライアント選択アルゴリズムが開発され、性能改善が期待できる。
論文 参考訳（メタデータ） (2022-11-03T01:51:14Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - FRAug: Tackling Federated Learning with Non-IID Features via
Representation Augmentation [31.12851987342467]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。
本稿では,FRAug(Federated Representation Augmentation)を提案する。
当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文 参考訳（メタデータ） (2022-05-30T07:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。