論文の概要: Accelerating Non-IID Federated Learning via Heterogeneity-Guided Client
Sampling
- arxiv url: http://arxiv.org/abs/2310.00198v1
- Date: Sat, 30 Sep 2023 00:29:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 05:50:35.043174
- Title: Accelerating Non-IID Federated Learning via Heterogeneity-Guided Client
Sampling
- Title(参考訳): 不均一誘導クライアントサンプリングによる非IIDフェデレーション学習の高速化
- Authors: Huancheng Chen, Haris Vikalo
- Abstract要約: HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。
非IID設定では、HICS-FLは最先端のFLクライアント選択方式よりも高速な収束とトレーニングの分散を実現する。
- 参考スコア(独自算出の注目度): 17.56259695496955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Statistical heterogeneity of data present at client devices in a federated
learning (FL) system renders the training of a global model in such systems
difficult. Particularly challenging are the settings where due to resource
constraints only a small fraction of clients can participate in any given round
of FL. Recent approaches to training a global model in FL systems with non-IID
data have focused on developing client selection methods that aim to sample
clients with more informative updates of the model. However, existing client
selection techniques either introduce significant computation overhead or
perform well only in the scenarios where clients have data with similar
heterogeneity profiles. In this paper, we propose HiCS-FL (Federated Learning
via Hierarchical Clustered Sampling), a novel client selection method in which
the server estimates statistical heterogeneity of a client's data using the
client's update of the network's output layer and relies on this information to
cluster and sample the clients. We analyze the ability of the proposed
techniques to compare heterogeneity of different datasets, and characterize
convergence of the training process that deploys the introduced client
selection method. Extensive experimental results demonstrate that in non-IID
settings HiCS-FL achieves faster convergence and lower training variance than
state-of-the-art FL client selection schemes. Notably, HiCS-FL drastically
reduces computation cost compared to existing selection schemes and is
adaptable to different heterogeneity scenarios.
- Abstract(参考訳): 統合学習システム(FL)におけるクライアントデバイスに存在するデータの統計的不均一性は、そのようなシステムにおけるグローバルモデルのトレーニングを困難にしている。
特に難しいのは、リソースの制約のため、FLの任意のラウンドに少数のクライアントしか参加できないような設定です。
非IIDデータを用いたFLシステムにおけるグローバルモデルトレーニングへの最近のアプローチは、より情報的なモデル更新でクライアントをサンプリングすることを目的としたクライアント選択手法の開発に焦点を当てている。
しかし、既存のクライアント選択技術は、計算オーバーヘッドを大幅に導入するか、クライアントが同様の不均一プロファイルを持つデータを持つシナリオでのみうまく機能する。
本稿では,hics-fl (federated learning via hierarchical clustered sampling)を提案する。クライアントの出力層の更新を用いて,サーバがクライアントのデータの統計的不均一性を推定し,この情報をクライアントのクラスタ化とサンプリングに活用する新しいクライアント選択手法である。
提案手法を用いて,異なるデータセットの均一性を比較検討し,導入したクライアント選択手法をデプロイするトレーニングプロセスの収束性を特徴付ける。
非IID環境でのHiCS-FLは、最先端のFLクライアント選択方式よりも高速な収束と訓練の分散を実現する。
特に、hics-flは既存の選択方式に比べて計算コストを劇的に削減し、異なる異質性シナリオに適応できる。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳(メタデータ) (2023-12-29T01:44:20Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - Adaptive Federated Learning via New Entropy Approach [21.835561630042314]
フェデレートラーニング(FL)は、リソース制約のあるクライアントが中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。
異種クライアントの機器とデータのばらつきの違いにより、局所モデル間のパラメータ偏差が生じる。
本稿では,エントロピー理論に基づく適応学習率スキームを提案する。
論文 参考訳(メタデータ) (2023-03-27T07:57:04Z) - Client Selection in Federated Learning: Principles, Challenges, and
Opportunities [15.33636272844544]
Federated Learning(FL)は、機械学習(ML)モデルをトレーニングするためのプライバシー保護パラダイムである。
典型的なFLシナリオでは、クライアントはデータ分散とハードウェア構成の点で大きな異質性を示す。
様々なクライアント選択アルゴリズムが開発され、性能改善が期待できる。
論文 参考訳(メタデータ) (2022-11-03T01:51:14Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - FRAug: Tackling Federated Learning with Non-IID Features via
Representation Augmentation [31.12851987342467]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。
本稿では,FRAug(Federated Representation Augmentation)を提案する。
当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文 参考訳(メタデータ) (2022-05-30T07:43:42Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。