論文の概要: Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction
- arxiv url: http://arxiv.org/abs/2209.15245v2
- Date: Tue, 6 Jun 2023 06:27:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 21:55:07.686533
- Title: Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction
- Title（参考訳）: fed-cbs:クラス不均衡低減によるフェデレーション学習のためのヘテロゲニティアウェアクライアントサンプリング機構
- Authors: Jianyi Zhang, Ang Li, Minxue Tang, Jingwei Sun, Xiang Chen, Fan Zhang,
Changyou Chen, Yiran Chen, Hai Li
- Abstract要約: 本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
- 参考スコア（独自算出の注目度）: 76.26710990597498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to limited communication capacities of edge devices, most existing
federated learning (FL) methods randomly select only a subset of devices to
participate in training for each communication round. Compared with engaging
all the available clients, the random-selection mechanism can lead to
significant performance degradation on non-IID (independent and identically
distributed) data. In this paper, we show our key observation that the
essential reason resulting in such performance degradation is the
class-imbalance of the grouped data from randomly selected clients. Based on
our key observation, we design an efficient heterogeneity-aware client sampling
mechanism, i.e., Federated Class-balanced Sampling (Fed-CBS), which can
effectively reduce class-imbalance of the group dataset from the intentionally
selected clients. In particular, we propose a measure of class-imbalance and
then employ homomorphic encryption to derive this measure in a
privacy-preserving way. Based on this measure, we also design a
computation-efficient client sampling strategy, such that the actively selected
clients will generate a more class-balanced grouped dataset with theoretical
guarantees. Extensive experimental results demonstrate Fed-CBS outperforms the
status quo approaches. Furthermore, it achieves comparable or even better
performance than the ideal setting where all the available clients participate
in the FL training.
- Abstract（参考訳）: エッジデバイスの通信能力が限られているため、既存のフェデレーション学習(FL)手法は、各通信ラウンドのトレーニングに参加する装置のサブセットのみをランダムに選択する。
利用可能なすべてのクライアントと比べ、ランダム選択機構は、非IID(独立かつ同一の分散)データに対して大幅なパフォーマンス劣化を引き起こす可能性がある。
本稿では,このような性能劣化をもたらす重要な理由は,ランダムに選択されたクライアントからのグループデータのクラス不均衡であることを示す。
提案手法では,目的とするクライアントからグループデータセットのクラス不均衡を効果的に低減できる,効率のよいヘテロゲニティ・アウェアクライアントサンプリング機構,すなわちフェデレートクラスバランスサンプリング(fed-cbs)を設計した。
特に,クラス不均衡の尺度を提案し,この尺度をプライバシ保存方式で導出するために準同型暗号を用いる。
この尺度に基づいて,アクティブに選択されたクライアントが,理論的に保証されたよりクラスバランスのよいグループ化データセットを生成するような,計算効率の高いクライアントサンプリング戦略も設計する。
大規模な実験の結果、Fed-CBSは現状のクオアプローチよりも優れていた。
さらに、すべての利用可能なクライアントがFLトレーニングに参加する理想的な設定よりも、同等またはそれ以上のパフォーマンスを達成する。
関連論文リスト
- Submodular Maximization Approaches for Equitable Client Selection in Federated Learning [4.167345675621377]
従来の学習フレームワークでは、トレーニングのためのクライアント選択は、通常、各イテレーションでクライアントのサブセットをランダムにサンプリングする。
本稿では,ランダムクライアント選択の限界に対処するために,SUBTRUNCとUNIONFLという2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2024-08-24T22:40:31Z) - SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。
既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。
本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文 参考訳（メタデータ） (2024-06-18T01:56:22Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳（メタデータ） (2023-11-28T05:44:26Z) - Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳（メタデータ） (2023-09-04T10:47:52Z) - Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。
本質的には、学習の劣化と収束速度の低下を経験する。
等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
論文 参考訳（メタデータ） (2023-08-30T07:46:32Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。
我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。
特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文 参考訳（メタデータ） (2023-02-15T03:42:59Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-13T02:39:19Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。