論文の概要: CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with
Clustered Aggregation and Knowledge DIStilled Regularization
- arxiv url: http://arxiv.org/abs/2302.10413v3
- Date: Sat, 15 Apr 2023 04:06:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 21:04:27.571259
- Title: CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with
Clustered Aggregation and Knowledge DIStilled Regularization
- Title（参考訳）: CADIS:クラスタ化集約と知識分散正規化によるフェデレーション学習におけるクラスタスキュー非IIDデータの扱い
- Authors: Nang Hung Nguyen, Duc Long Nguyen, Trong Bang Nguyen, Thanh-Hung
Nguyen, Huy Hieu Pham, Truong Thao Nguyen, Phi Le Nguyen
- Abstract要約: フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。
本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
- 参考スコア（独自算出の注目度）: 3.3711670942444014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning enables edge devices to train a global model
collaboratively without exposing their data. Despite achieving outstanding
advantages in computing efficiency and privacy protection, federated learning
faces a significant challenge when dealing with non-IID data, i.e., data
generated by clients that are typically not independent and identically
distributed. In this paper, we tackle a new type of Non-IID data, called
cluster-skewed non-IID, discovered in actual data sets. The cluster-skewed
non-IID is a phenomenon in which clients can be grouped into clusters with
similar data distributions. By performing an in-depth analysis of the behavior
of a classification model's penultimate layer, we introduce a metric that
quantifies the similarity between two clients' data distributions without
violating their privacy. We then propose an aggregation scheme that guarantees
equality between clusters. In addition, we offer a novel local training
regularization based on the knowledge-distillation technique that reduces the
overfitting problem at clients and dramatically boosts the training scheme's
performance. We theoretically prove the superiority of the proposed aggregation
over the benchmark FedAvg. Extensive experimental results on both standard
public datasets and our in-house real-world dataset demonstrate that the
proposed approach improves accuracy by up to 16% compared to the FedAvg
algorithm.
- Abstract（参考訳）: フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
コンピューティング効率とプライバシ保護において卓越した優位性を実現したにもかかわらず、フェデレーション学習は、非iidデータ、すなわち、通常独立で分散していないクライアントによって生成されるデータを扱う場合、大きな課題に直面している。
本稿では,クラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに対処する。
クラスタスキュード非IIDは、クライアントが同様のデータ分散を持つクラスタにグループ化できる現象である。
分類モデルのペナルティファイト層の挙動を詳細に分析することにより、プライバシに違反することなく、2つのクライアントのデータ分散間の類似性を定量化するメトリクスを導入する。
次に,クラスタ間の平等性を保証する集約スキームを提案する。
さらに,クライアントの過度な適合問題を減らし,トレーニングスキームの性能を劇的に向上させる知識蒸留技術に基づく,新たなローカルトレーニングレギュラー化を提供する。
ベンチマークfedavgよりも,提案手法が優れていることを理論的に証明する。
標準パブリックデータセットと実世界データセットの両方の広範な実験結果から,fedavgアルゴリズムと比較して,提案手法が精度を最大16%向上することが示された。
関連論文リスト
- Dataset Distillation-based Hybrid Federated Learning on Non-IID Data [19.01147151081893]
本稿では,データセット蒸留を統合して,独立および等分散(IID)データを生成するハイブリッド・フェデレーション学習フレームワークHFLDDを提案する。
クライアントを異種クラスタに分割し、クラスタ内の異なるクライアント間でのデータラベルがバランスが取れないようにします。
このトレーニングプロセスは、従来のIDデータに対するフェデレーション学習に似ているため、モデルトレーニングにおける非IIDデータの影響を効果的に軽減する。
論文 参考訳（メタデータ） (2024-09-26T03:52:41Z) - Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。
これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。
この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
論文 参考訳（メタデータ） (2024-08-20T09:05:44Z) - Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。
本質的には、学習の劣化と収束速度の低下を経験する。
等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
論文 参考訳（メタデータ） (2023-08-30T07:46:32Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳（メタデータ） (2022-08-04T04:24:16Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-06-03T14:59:59Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。