Fugu-MT 論文翻訳(概要): Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics

論文の概要: Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics

arxiv url: http://arxiv.org/abs/2403.08364v1
Date: Wed, 13 Mar 2024 09:24:59 GMT
ステータス: 処理完了
システム内更新日: 2024-03-14 15:16:21.590177
Title: Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics
Title（参考訳）: 長大・非IIDデータにおける非結合型フェデレーション学習特徴統計
Authors: Zhuoxin Chen, Zhenyu Wu, Yang Ji
Abstract要約: 特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
参考スコア（独自算出の注目度）: 20.781607752797445
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning is designed to enhance data security and privacy, but faces challenges when dealing with heterogeneous data in long-tailed and non-IID distributions. This paper explores an overlooked scenario where tail classes are sparsely distributed over a few clients, causing the models trained with these classes to have a lower probability of being selected during client aggregation, leading to slower convergence rates and poorer model performance. To address this issue, we propose a two-stage Decoupled Federated learning framework using Feature Statistics (DFL-FS). In the first stage, the server estimates the client's class coverage distributions through masked local feature statistics clustering to select models for aggregation to accelerate convergence and enhance feature learning without privacy leakage. In the second stage, DFL-FS employs federated feature regeneration based on global feature statistics and utilizes resampling and weighted covariance to calibrate the global classifier to enhance the model's adaptability to long-tailed data distributions. We conducted experiments on CIFAR10-LT and CIFAR100-LT datasets with various long-tailed rates. The results demonstrate that our method outperforms state-of-the-art methods in both accuracy and convergence rate.
Abstract（参考訳）: フェデレーション学習は、データのセキュリティとプライバシを高めるように設計されているが、長い尾と非IIDのディストリビューションで異種データを扱う場合、課題に直面している。本稿では,いくつかのクライアントにテールクラスを分散させ,それらのクラスで訓練したモデルがクライアントアグリゲーション中に選択される確率を低くし,収束率の低下とモデル性能の低下を招いた,見落とされがちなシナリオを考察する。この問題に対処するために,特徴統計(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。第1段階では、サーバは、マスク付きローカル特徴統計クラスタリングを通じてクライアントのクラスカバレッジ分布を推定し、アグリゲーションモデルを選択して収束を加速し、プライバシリークなしに特徴学習を強化する。第二段階では、DFL-FSはグローバルな特徴統計に基づいてフェデレーションされた特徴再生を採用し、再サンプリングと重み付き共分散を利用してグローバル分類器を校正し、長期データ分布へのモデルの適応性を高める。 CIFAR10-LT と CIFAR100-LT のデータセットの長期化実験を行った。その結果,本手法は精度と収束率の両方で最先端の手法より優れていた。

関連論文リスト

Federated Learning Clients Clustering with Adaptation to Data Drifts [27.974937897248132]
フェデレートラーニング(FL)は、エッジデバイス間のディープラーニングモデルのトレーニングを可能にする。本稿では,データドリフトを低オーバーヘッドで迅速に処理するクラスタリングFLフレームワークであるFieldingを紹介する。評価の結果,Fielding はモデルの最終精度を 1.9%-5.9% 向上し,目標精度 1.16x-2.61x に到達した。
論文参考訳（メタデータ） (2024-11-03T14:13:38Z)
FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
論文参考訳（メタデータ） (2024-09-18T16:25:29Z)
FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文参考訳（メタデータ） (2024-06-18T01:56:22Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。