論文の概要: Decoupled Federated Learning on Long-Tailed and Non-IID data with
Feature Statistics
- arxiv url: http://arxiv.org/abs/2403.08364v1
- Date: Wed, 13 Mar 2024 09:24:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:16:21.590177
- Title: Decoupled Federated Learning on Long-Tailed and Non-IID data with
Feature Statistics
- Title(参考訳): 長大・非IIDデータにおける非結合型フェデレーション学習
特徴統計
- Authors: Zhuoxin Chen, Zhenyu Wu, Yang Ji
- Abstract要約: 特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。
最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。
第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
- 参考スコア(独自算出の注目度): 20.781607752797445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is designed to enhance data security and privacy, but
faces challenges when dealing with heterogeneous data in long-tailed and
non-IID distributions. This paper explores an overlooked scenario where tail
classes are sparsely distributed over a few clients, causing the models trained
with these classes to have a lower probability of being selected during client
aggregation, leading to slower convergence rates and poorer model performance.
To address this issue, we propose a two-stage Decoupled Federated learning
framework using Feature Statistics (DFL-FS). In the first stage, the server
estimates the client's class coverage distributions through masked local
feature statistics clustering to select models for aggregation to accelerate
convergence and enhance feature learning without privacy leakage. In the second
stage, DFL-FS employs federated feature regeneration based on global feature
statistics and utilizes resampling and weighted covariance to calibrate the
global classifier to enhance the model's adaptability to long-tailed data
distributions. We conducted experiments on CIFAR10-LT and CIFAR100-LT datasets
with various long-tailed rates. The results demonstrate that our method
outperforms state-of-the-art methods in both accuracy and convergence rate.
- Abstract(参考訳): フェデレーション学習は、データのセキュリティとプライバシを高めるように設計されているが、長い尾と非IIDのディストリビューションで異種データを扱う場合、課題に直面している。
本稿では,いくつかのクライアントにテールクラスを分散させ,それらのクラスで訓練したモデルがクライアントアグリゲーション中に選択される確率を低くし,収束率の低下とモデル性能の低下を招いた,見落とされがちなシナリオを考察する。
この問題に対処するために,特徴統計(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。
第1段階では、サーバは、マスク付きローカル特徴統計クラスタリングを通じてクライアントのクラスカバレッジ分布を推定し、アグリゲーションモデルを選択して収束を加速し、プライバシリークなしに特徴学習を強化する。
第二段階では、DFL-FSはグローバルな特徴統計に基づいてフェデレーションされた特徴再生を採用し、再サンプリングと重み付き共分散を利用してグローバル分類器を校正し、長期データ分布へのモデルの適応性を高める。
CIFAR10-LT と CIFAR100-LT のデータセットの長期化実験を行った。
その結果,本手法は精度と収束率の両方で最先端の手法より優れていた。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳(メタデータ) (2023-11-15T11:11:25Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳(メタデータ) (2023-11-14T19:10:56Z) - Accelerating Non-IID Federated Learning via Heterogeneity-Guided Client
Sampling [17.56259695496955]
HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。
非IID設定では、HICS-FLは最先端のFLクライアント選択方式よりも高速な収束とトレーニングの分散を実現する。
論文 参考訳(メタデータ) (2023-09-30T00:29:30Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳(メタデータ) (2022-08-04T04:24:16Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。