論文の概要: A Simple Data Augmentation for Feature Distribution Skewed Federated Learning
- arxiv url: http://arxiv.org/abs/2306.09363v2
- Date: Fri, 06 Dec 2024 05:35:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:54:21.681653
- Title: A Simple Data Augmentation for Feature Distribution Skewed Federated Learning
- Title（参考訳）: フェデレーション・フェデレーション・ラーニングのための簡易データ強化
- Authors: Yunlu Yan, Huazhu Fu, Yuexiang Li, Jinheng Xie, Jun Ma, Guang Yang, Lei Zhu,
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアント間の協調学習を分散的に促進する。
FLのパフォーマンスは非独立およびIdentically Distributed(非IID)データで劣化する。
本稿では,フェデレーション全体からクライアントのデータに局所分布の統計情報をランダムに注入するFedRDNを提案する。
私たちのFedRDNはプラグイン・アンド・プレイコンポーネントで、数行のコードだけでデータ拡張フローにシームレスに統合できます。
- 参考スコア（独自算出の注目度）: 47.27053883247425
- License:
- Abstract: Federated Learning (FL) facilitates collaborative learning among multiple clients in a distributed manner and ensures the security of privacy. However, its performance inevitably degrades with non-Independent and Identically Distributed (non-IID) data. In this paper, we focus on the feature distribution skewed FL scenario, a common non-IID situation in real-world applications where data from different clients exhibit varying underlying distributions. This variation leads to feature shift, which is a key issue of this scenario. While previous works have made notable progress, few pay attention to the data itself, i.e., the root of this issue. The primary goal of this paper is to mitigate feature shift from the perspective of data. To this end, we propose a simple yet remarkably effective input-level data augmentation method, namely FedRDN, which randomly injects the statistical information of the local distribution from the entire federation into the client's data. This is beneficial to improve the generalization of local feature representations, thereby mitigating feature shift. Moreover, our FedRDN is a plug-and-play component, which can be seamlessly integrated into the data augmentation flow with only a few lines of code. Extensive experiments on several datasets show that the performance of various representative FL methods can be further improved by integrating our FedRDN, demonstrating its effectiveness, strong compatibility and generalizability. Code will be released.
- Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアント間の協調学習を分散的に促進し、プライバシのセキュリティを確保する。
しかし、その性能は必然的に非独立かつIdentically Distributed(非IID)データで劣化する。
本稿では,異なるクライアントからのデータが様々な基盤分布を示す実世界のアプリケーションにおいて,一般の非IID状況であるFLシナリオに焦点をあてる。
このバリエーションは、このシナリオの重要な問題である機能シフトにつながります。
以前の研究は顕著な進歩を遂げたが、データそのもの、すなわちこの問題の根源に注意を払っていない。
本論文の主な目的は,データの観点からの機能シフトを緩和することである。
そこで本研究では,フェデレーション全体から局所分布の統計情報をランダムにクライアントのデータに注入する,シンプルで極めて効果的な入力レベルデータ拡張手法であるFedRDNを提案する。
これは、局所的な特徴表現の一般化を改善し、特徴シフトを緩和するのに役立つ。
さらに当社のFedRDNは,数行のコードだけでデータ拡張フローにシームレスに統合可能な,プラグイン・アンド・プレイコンポーネントです。
いくつかのデータセットに対する大規模な実験により、FedRDNを統合することにより、様々な代表FL法の性能をさらに向上し、その有効性、高い互換性、および一般化性を示すことが示される。
コードはリリースされる。
関連論文リスト
- Disentangling data distribution for Federated Learning [20.524108508314107]
フェデレートラーニング(FL)は、分散クライアントが所有するプライベートデータによってパフォーマンスが向上するグローバルモデルの協調トレーニングを促進する。
しかし、FLの幅広い適用性は、異なるクライアント間のデータ分散の絡み合いによって妨げられている。
本稿では,FLがデータ分散を解き放つことによって,分散システムに匹敵する効率を原理的に達成できることを初めて示す。
論文 参考訳（メタデータ） (2024-10-16T13:10:04Z) - StatAvg: Mitigating Data Heterogeneity in Federated Learning for Intrusion Detection Systems [22.259297167311964]
フェデレートラーニング(FL)は、デバイスが生データを第三者に公開することなく、共同で機械学習(ML)またはディープラーニング(DL)モデルを構築することができる分散学習技術である。
プライバシー保護の性質から、FLはサイバーセキュリティの領域内で侵入検知システム(IDS)を構築するために広く注目を集めている。
FLにおけるローカルクライアントのデータ間で,非独立かつ同一の(非ID)分散機能を緩和する,統計的平均化(StatAvg)と呼ばれる有効な手法を提案する。
論文 参考訳（メタデータ） (2024-05-20T14:41:59Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - FedFed: Feature Distillation against Data Heterogeneity in Federated
Learning [88.36513907827552]
フェデレートラーニング(FL)は通常、データ不均一性、すなわちクライアント間の分散シフトに直面している。
我々はtextbfFederated textbfFeature textbfdistillation (FedFedFed) という新しいアプローチを提案する。
FedFedは、データをパフォーマンスに敏感な機能(すなわち、モデルパフォーマンスに多大な貢献)とパフォーマンスを損なう機能(つまり、モデルパフォーマンスに限られた貢献)に分割する。
総合的な実験は、モデル性能の促進におけるFedFedの有効性を示す。
論文 参考訳（メタデータ） (2023-10-08T09:00:59Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳（メタデータ） (2023-05-19T05:39:40Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳（メタデータ） (2023-03-31T10:13:01Z) - FedFA: Federated Feature Augmentation [25.130087374092383]
フェデレーション学習は、複数のパーティが生データを交換することなく、ディープモデルを協調的にトレーニングすることを可能にする。
本研究の主な目的は,クライアントのサンプルの特徴変化に対処する堅牢なフェデレーション学習アルゴリズムを開発することである。
我々は,フェデレーション機能強化の観点から,フェデレーション学習に取り組むためのFedFAを提案する。
論文 参考訳（メタデータ） (2023-01-30T15:39:55Z) - FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。
我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。
異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
論文 参考訳（メタデータ） (2022-05-27T00:55:24Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - FedBN: Federated Learning on Non-IID Features via Local Batch
Normalization [23.519212374186232]
フェデレーション学習(fl)の新たなパラダイムは、生データを集中的に集約することなく、ネットワークエッジにおける深層モデルの協調的なトレーニングを可能にすることを目指している。
モデルの平均化に先立って,局所的バッチ正規化を用いて特徴シフトを緩和する有効な手法を提案する。
FedBNと呼ばれるこの方式は、古典的なFedAvgと、非IDデータの最先端の両方を上回っている。
論文 参考訳（メタデータ） (2021-02-15T16:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。