論文の概要: FedSat: A Statistical Aggregation Approach for Class Imbalaced Clients in Federated Learning
- arxiv url: http://arxiv.org/abs/2407.03862v1
- Date: Thu, 4 Jul 2024 11:50:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 18:12:58.515205
- Title: FedSat: A Statistical Aggregation Approach for Class Imbalaced Clients in Federated Learning
- Title（参考訳）: FedSat:フェデレーションラーニングにおけるクラスイバレーテッドクライアントの統計的集約アプローチ
- Authors: Sujit Chowdhury, Raju Halder,
- Abstract要約: フェデレートラーニング(FL)は、プライバシを保存する分散機械学習のための有望なパラダイムとして登場した。
本稿ではFedSatについて紹介する。FedSatは様々なデータ不均一性を同時に扱うために設計された新しいFLアプローチである。
- 参考スコア（独自算出の注目度）: 2.5628953713168685
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning (FL) has emerged as a promising paradigm for privacy-preserving distributed machine learning, but faces challenges with heterogeneous data distributions across clients. This paper introduces FedSat, a novel FL approach designed to tackle various forms of data heterogeneity simultaneously. FedSat employs a cost-sensitive loss function and a prioritized class-based weighted aggregation scheme to address label skewness, missing classes, and quantity skewness across clients. While the proposed cost-sensitive loss function enhances model performance on minority classes, the prioritized class-based weighted aggregation scheme ensures client contributions are weighted based on both statistical significance and performance on critical classes. Extensive experiments across diverse data-heterogeneity settings demonstrate that FedSat significantly outperforms state-of-the-art baselines, with an average improvement of 1.8% over the second-best method and 19.87% over the weakest-performing baseline. The approach also demonstrates faster convergence compared to existing methods. These results highlight FedSat's effectiveness in addressing the challenges of heterogeneous federated learning and its potential for real-world applications.
- Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシを保存する分散機械学習のための有望なパラダイムとして登場したが、クライアント間の異種データ分散の課題に直面している。
本稿ではFedSatについて紹介する。FedSatは様々なデータ不均一性を同時に扱うために設計された新しいFLアプローチである。
FedSatは、コスト感受性の損失関数と優先順位付けされたクラスベースの重み付けアグリゲーションスキームを使用して、ラベルの歪、欠落したクラス、クライアント間の量スキューネスに対処する。
提案したコスト感受性損失関数はマイノリティクラスにおけるモデル性能を向上させるが、優先順位付けされたクラスベース重み付けアグリゲーション方式は、クリティカルクラスにおける統計的意義と性能の両方に基づいてクライアントの貢献を重み付けする。
多様なデータヘテロジニティー設定の広範な実験は、FedSatが最先端のベースラインを著しく上回り、第2のベストメソッドよりも平均1.8%、最もパフォーマンスの低いベースラインより19.87%向上していることを示している。
このアプローチは、既存の方法よりも高速な収束を示す。
これらの結果は、異質なフェデレーション学習の課題に対処するFedSatの有効性と、実世界の応用の可能性を強調している。
関連論文リスト
- Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration [1.33512912917221]
フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。
本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
論文 参考訳（メタデータ） (2024-10-02T20:16:56Z) - Decoupled Federated Learning on Long-Tailed and Non-IID data with
Feature Statistics [20.781607752797445]
特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。
最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。
第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
論文 参考訳（メタデータ） (2024-03-13T09:24:59Z) - Enabling Quartile-based Estimated-Mean Gradient Aggregation As Baseline
for Federated Image Classifications [5.5099914877576985]
Federated Learning(FL)は、機密データを保護し、モデルパフォーマンスを改善しながら、分散コラボレーションを可能にすることによって、ディープニューラルネットワークのトレーニング方法に革命をもたらした。
本稿では,これらの課題に対処するだけでなく,FLシステムにおける高度な集約技術に対して$mathsfbaseline$として基本的な参照ポイントを提供する,Estimated Mean Aggregation (EMA) という革新的なソリューションを紹介する。
論文 参考訳（メタデータ） (2023-09-21T17:17:28Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Stabilizing and Improving Federated Learning with Non-IID Data and
Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。
クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。
非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文 参考訳（メタデータ） (2023-03-11T05:17:59Z) - FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。
我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。
特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文 参考訳（メタデータ） (2023-02-15T03:42:59Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。