論文の概要: Robust Convergence in Federated Learning through Label-wise Clustering
- arxiv url: http://arxiv.org/abs/2112.14244v1
- Date: Tue, 28 Dec 2021 18:13:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-30 15:37:57.577446
- Title: Robust Convergence in Federated Learning through Label-wise Clustering
- Title（参考訳）: ラベルワイズクラスタリングによるフェデレーション学習におけるロバスト収束
- Authors: Hunmin Lee, Yueyang Liu, Donghyun Kim, Yingshu Li
- Abstract要約: 非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる
地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。
提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
- 参考スコア（独自算出の注目度）: 6.693651193181458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-IID dataset and heterogeneous environment of the local clients are
regarded as a major issue in Federated Learning (FL), causing a downturn in the
convergence without achieving satisfactory performance. In this paper, we
propose a novel Label-wise clustering algorithm that guarantees the
trainability among geographically dispersed heterogeneous local clients, by
selecting only the local models trained with a dataset that approximates into
uniformly distributed class labels, which is likely to obtain faster
minimization of the loss and increment the accuracy among the FL network.
Through conducting experiments on the suggested six common non-IID scenarios,
we empirically show that the vanilla FL aggregation model is incapable of
gaining robust convergence generating biased pre-trained local models and
drifting the local weights to mislead the trainability in the worst case.
Moreover, we quantitatively estimate the expected performance of the local
models before training, which offers a global server to select the optimal
clients, saving additional computational costs. Ultimately, in order to gain
resolution of the non-convergence in such non-IID situations, we design
clustering algorithms based on local input class labels, accommodating the
diversity and assorting clients that could lead the overall system to attain
the swift convergence as global training continues. Our paper shows that
proposed Label-wise clustering demonstrates prompt and robust convergence
compared to other FL algorithms when local training datasets are non-IID or
coexist with IID through multiple experiments.
- Abstract（参考訳）: 非IIDデータセットとローカルクライアントの異種環境は、フェデレートラーニング(FL)における主要な問題と見なされ、良好な性能を得ることなく収束の低下を引き起こす。
本稿では,均等に分散したクラスラベルに近似したデータセットでトレーニングされたローカルモデルのみを選択し,その損失の最小化とflネットワーク間の精度の増大を図ることにより,地理的に分散した異種ローカルクライアント間のトレーサビリティを保証する新しいラベル毎クラスタリングアルゴリズムを提案する。
提案する6つの非iidシナリオを実験した結果,vanilla fl 集約モデルでは偏りのある事前学習された局所モデルを生成し,局所的な重みをドリフトして,最悪の場合のトレーニング可能性の誤解を生じさせることができないことがわかった。
さらに,学習前のローカルモデルの性能を定量的に評価し,最適なクライアントを選択するためのグローバルサーバを提供し,計算コストを削減した。
このような非iid状況において、非コンバージェンスの解消を達成するために、我々は、グローバルトレーニングが継続するにつれて、システム全体の迅速な収束を達成するために、システムの多様性とソートを実現したローカル入力クラスラベルに基づくクラスタリングアルゴリズムを設計する。
提案手法は, 局所学習データセットが非IIDである場合や, IID と共存している場合と比較して, 高速で頑健な収束性を示す。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-07-09T02:47:16Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。
IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-28T08:07:28Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳（メタデータ） (2022-01-31T03:15:28Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Semi-Supervised Federated Learning with non-IID Data: Algorithm and
System Design [42.63120623012093]
フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。
クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID)
本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
論文 参考訳（メタデータ） (2021-10-26T03:41:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。