論文の概要: Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning
- arxiv url: http://arxiv.org/abs/2301.10394v1
- Date: Wed, 25 Jan 2023 03:18:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-26 16:07:30.214677
- Title: Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning
- Title（参考訳）: フェデレーション型長期学習における局所実データとグローバル・グラディエント・プロトタイプの統合
- Authors: Wenkai Yang, Deli Chen, Hao Zhao, Fandong Meng, Jie Zhou, Xu Sun
- Abstract要約: フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
- 参考スコア（独自算出の注目度）: 53.352925037245306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) has become a popular distributed learning paradigm
that involves multiple clients training a global model collaboratively in a
data privacy-preserving manner. However, the data samples usually follow a
long-tailed distribution in the real world, and FL on the decentralized and
long-tailed data yields a poorly-behaved global model severely biased to the
head classes with the majority of the training samples. To alleviate this
issue, decoupled training has recently been introduced to FL, considering it
has achieved promising results in centralized long-tailed learning by
re-balancing the biased classifier after the instance-balanced training.
However, the current study restricts the capacity of decoupled training in
federated long-tailed learning with a sub-optimal classifier re-trained on a
set of pseudo features, due to the unavailability of a global balanced dataset
in FL. In this work, in order to re-balance the classifier more effectively, we
integrate the local real data with the global gradient prototypes to form the
local balanced datasets, and thus re-balance the classifier during the local
training. Furthermore, we introduce an extra classifier in the training phase
to help model the global data distribution, which addresses the problem of
contradictory optimization goals caused by performing classifier re-balancing
locally. Extensive experiments show that our method consistently outperforms
the existing state-of-the-art methods in various settings.
- Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシ保護の方法でグローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散学習パラダイムになっています。
しかし、データサンプルは通常、現実世界の長い尾の分布に追従し、分散データと長い尾のデータのFLは、訓練サンプルの大多数がヘッドクラスに偏っている、劣悪なグローバルモデルをもたらす。
この問題を緩和するために、最近FLに非結合型トレーニングが導入され、インスタンスバランストレーニング後にバイアス付き分類器を再バランスさせることにより、集中型長期学習において有望な結果を得た。
しかし,本研究は, FLにおけるグローバルバランスデータセットの不適切性のため, 擬似特徴集合に基づいて再学習した準最適分類器を用いて, 連合長尾学習における疎結合学習の能力を制限する。
本研究では,より効率的に分類器を再バランスさせるために,局所実データとグローバル勾配プロトタイプを統合し,局所バランスデータセットを作成し,局所トレーニング中に分類器を再バランスさせる。
さらに,グローバルなデータ分布のモデル化を支援するために,学習フェーズに余分な分類器を導入し,局所的に再分散を行うことによって生じる矛盾する最適化目標の問題に対処する。
広範な実験により,本手法は,既存の最先端手法を様々な設定で一貫して上回ることがわかった。
関連論文リスト
- FedLoGe: Joint Local and Generic Federated Learning under Long-tailed
Data [46.29190753993415]
Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。
本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2024-01-17T05:04:33Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳（メタデータ） (2023-11-14T14:37:33Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Towards Unbiased Training in Federated Open-world Semi-supervised
Learning [15.08153616709326]
本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
論文 参考訳（メタデータ） (2023-05-01T11:12:37Z) - Addressing Class Variable Imbalance in Federated Semi-supervised
Learning [10.542178602467885]
我々は,クラス変数の不均衡を解決するために,FCVI(Federated Semi-supervised Learning for Class Variable Im Balance)を提案する。
FCVIは、クラス数の変化によるデータの不均衡を軽減するために使用される。
クライアントのプライバシを維持しながら,ベースライン方式よりもはるかに優れた手法であることが実証された。
論文 参考訳（メタデータ） (2023-03-21T12:50:17Z) - Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition
from a Domain Adaptation Perspective [98.70226503904402]
現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。
メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
論文 参考訳（メタデータ） (2020-03-24T11:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。