論文の概要: A Simple Data Augmentation for Feature Distribution Skewed Federated
Learning
- arxiv url: http://arxiv.org/abs/2306.09363v1
- Date: Wed, 14 Jun 2023 05:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 16:45:50.692023
- Title: A Simple Data Augmentation for Feature Distribution Skewed Federated
Learning
- Title(参考訳): 特徴分布歪型フェデレーション学習のための簡易データ拡張法
- Authors: Yunlu Yan, Lei Zhu
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアント間の協調学習を分散的に支援し、プライバシ保護を保証する。
本稿では,現実世界のアプリケーションに広く普及しているFLシナリオの特徴分布に着目した。
特徴分布スキュードFLの簡易かつ極めて効果的なデータ拡張法であるFedRDNを提案する。
- 参考スコア(独自算出の注目度): 12.636154758643757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) facilitates collaborative learning among multiple
clients in a distributed manner, while ensuring privacy protection. However,
its performance is inevitably degraded as suffering data heterogeneity, i.e.,
non-IID data. In this paper, we focus on the feature distribution skewed FL
scenario, which is widespread in real-world applications. The main challenge
lies in the feature shift caused by the different underlying distributions of
local datasets. While the previous attempts achieved progress, few studies pay
attention to the data itself, the root of this issue. Therefore, the primary
goal of this paper is to develop a general data augmentation technique at the
input level, to mitigate the feature shift. To achieve this goal, we propose
FedRDN, a simple yet remarkably effective data augmentation method for feature
distribution skewed FL, which randomly injects the statistics of the dataset
from the entire federation into the client's data. By this, our method can
effectively improve the generalization of features, thereby mitigating the
feature shift. Moreover, FedRDN is a plug-and-play component, which can be
seamlessly integrated into the data augmentation flow with only a few lines of
code. Extensive experiments on several datasets show that the performance of
various representative FL works can be further improved by combining them with
FedRDN, which demonstrates the strong scalability and generalizability of
FedRDN. The source code will be released.
- Abstract(参考訳): フェデレートラーニング(FL)は、複数のクライアント間の協調学習を分散的に支援し、プライバシ保護を保証する。
しかし、その性能は不均一なデータ、すなわち非IIDデータとして必然的に劣化する。
本稿では,現実世界のアプリケーションに広く普及しているFLシナリオの特徴分布に着目した。
主な課題は、ローカルデータセットのさまざまな基礎的な分布に起因する機能シフトにある。
前回の試みは進展したが、データ自体に注意を払う研究はほとんどなく、この問題の根源となっている。
そこで本論文の主な目的は,特徴シフトを軽減するため,入力レベルでの汎用データ拡張手法を開発することである。
この目的を達成するために,フェデレーション全体からクライアントのデータにデータセットの統計をランダムに注入する特徴分散スキュードFLのための,シンプルで驚くほど効果的なデータ拡張手法であるFedRDNを提案する。
これにより,特徴の一般化を効果的に改善でき,特徴のシフトを緩和できる。
さらにFedRDNは、数行のコードだけでデータ拡張フローにシームレスに統合できるプラグイン・アンド・プレイコンポーネントである。
いくつかのデータセットに対する大規模な実験により、FedRDNと組み合わせることで、様々な代表FLワークの性能をさらに向上できることが示されている。
ソースコードはリリースされます。
関連論文リスト
- Disentangling data distribution for Federated Learning [20.524108508314107]
フェデレートラーニング(FL)は、分散クライアントが所有するプライベートデータによってパフォーマンスが向上するグローバルモデルの協調トレーニングを促進する。
しかし、FLの幅広い適用性は、異なるクライアント間のデータ分散の絡み合いによって妨げられている。
本稿では,FLがデータ分散を解き放つことによって,分散システムに匹敵する効率を原理的に達成できることを初めて示す。
論文 参考訳(メタデータ) (2024-10-16T13:10:04Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-29T11:28:06Z) - StatAvg: Mitigating Data Heterogeneity in Federated Learning for Intrusion Detection Systems [22.259297167311964]
フェデレートラーニング(FL)は、デバイスが生データを第三者に公開することなく、共同で機械学習(ML)またはディープラーニング(DL)モデルを構築することができる分散学習技術である。
プライバシー保護の性質から、FLはサイバーセキュリティの領域内で侵入検知システム(IDS)を構築するために広く注目を集めている。
FLにおけるローカルクライアントのデータ間で,非独立かつ同一の(非ID)分散機能を緩和する,統計的平均化(StatAvg)と呼ばれる有効な手法を提案する。
論文 参考訳(メタデータ) (2024-05-20T14:41:59Z) - Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。
FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。
我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
論文 参考訳(メタデータ) (2024-05-13T16:57:48Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳(メタデータ) (2023-12-10T07:38:56Z) - FedFed: Feature Distillation against Data Heterogeneity in Federated
Learning [88.36513907827552]
フェデレートラーニング(FL)は通常、データ不均一性、すなわちクライアント間の分散シフトに直面している。
我々はtextbfFederated textbfFeature textbfdistillation (FedFedFed) という新しいアプローチを提案する。
FedFedは、データをパフォーマンスに敏感な機能(すなわち、モデルパフォーマンスに多大な貢献)とパフォーマンスを損なう機能(つまり、モデルパフォーマンスに限られた貢献)に分割する。
総合的な実験は、モデル性能の促進におけるFedFedの有効性を示す。
論文 参考訳(メタデータ) (2023-10-08T09:00:59Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳(メタデータ) (2023-05-19T05:39:40Z) - FedFA: Federated Feature Augmentation [25.130087374092383]
フェデレーション学習は、複数のパーティが生データを交換することなく、ディープモデルを協調的にトレーニングすることを可能にする。
本研究の主な目的は,クライアントのサンプルの特徴変化に対処する堅牢なフェデレーション学習アルゴリズムを開発することである。
我々は,フェデレーション機能強化の観点から,フェデレーション学習に取り組むためのFedFAを提案する。
論文 参考訳(メタデータ) (2023-01-30T15:39:55Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。