論文の概要: Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning
- arxiv url: http://arxiv.org/abs/2301.10394v1
- Date: Wed, 25 Jan 2023 03:18:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-26 16:07:30.214677
- Title: Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning
- Title（参考訳）: フェデレーション型長期学習における局所実データとグローバル・グラディエント・プロトタイプの統合
- Authors: Wenkai Yang, Deli Chen, Hao Zhao, Fandong Meng, Jie Zhou, Xu Sun
- Abstract要約: フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
- 参考スコア（独自算出の注目度）: 53.352925037245306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) has become a popular distributed learning paradigm
that involves multiple clients training a global model collaboratively in a
data privacy-preserving manner. However, the data samples usually follow a
long-tailed distribution in the real world, and FL on the decentralized and
long-tailed data yields a poorly-behaved global model severely biased to the
head classes with the majority of the training samples. To alleviate this
issue, decoupled training has recently been introduced to FL, considering it
has achieved promising results in centralized long-tailed learning by
re-balancing the biased classifier after the instance-balanced training.
However, the current study restricts the capacity of decoupled training in
federated long-tailed learning with a sub-optimal classifier re-trained on a
set of pseudo features, due to the unavailability of a global balanced dataset
in FL. In this work, in order to re-balance the classifier more effectively, we
integrate the local real data with the global gradient prototypes to form the
local balanced datasets, and thus re-balance the classifier during the local
training. Furthermore, we introduce an extra classifier in the training phase
to help model the global data distribution, which addresses the problem of
contradictory optimization goals caused by performing classifier re-balancing
locally. Extensive experiments show that our method consistently outperforms
the existing state-of-the-art methods in various settings.
- Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシ保護の方法でグローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散学習パラダイムになっています。
しかし、データサンプルは通常、現実世界の長い尾の分布に追従し、分散データと長い尾のデータのFLは、訓練サンプルの大多数がヘッドクラスに偏っている、劣悪なグローバルモデルをもたらす。
この問題を緩和するために、最近FLに非結合型トレーニングが導入され、インスタンスバランストレーニング後にバイアス付き分類器を再バランスさせることにより、集中型長期学習において有望な結果を得た。
しかし,本研究は, FLにおけるグローバルバランスデータセットの不適切性のため, 擬似特徴集合に基づいて再学習した準最適分類器を用いて, 連合長尾学習における疎結合学習の能力を制限する。
本研究では,より効率的に分類器を再バランスさせるために,局所実データとグローバル勾配プロトタイプを統合し,局所バランスデータセットを作成し,局所トレーニング中に分類器を再バランスさせる。
さらに,グローバルなデータ分布のモデル化を支援するために,学習フェーズに余分な分類器を導入し,局所的に再分散を行うことによって生じる矛盾する最適化目標の問題に対処する。
広範な実験により,本手法は,既存の最先端手法を様々な設定で一貫して上回ることがわかった。
関連論文リスト
- Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。
パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。
我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
論文 参考訳（メタデータ） (2024-11-01T03:03:52Z) - FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。
伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。
新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
論文 参考訳（メタデータ） (2024-09-18T16:25:29Z) - Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。
MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。
様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2024-05-10T11:52:53Z) - FedLoGe: Joint Local and Generic Federated Learning under Long-tailed
Data [46.29190753993415]
Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。
本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2024-01-17T05:04:33Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition
from a Domain Adaptation Perspective [98.70226503904402]
現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。
メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
論文 参考訳（メタデータ） (2020-03-24T11:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。