論文の概要: Not all Minorities are Equal: Empty-Class-Aware Distillation for
Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2401.02329v1
- Date: Thu, 4 Jan 2024 16:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 14:45:56.799947
- Title: Not all Minorities are Equal: Empty-Class-Aware Distillation for
Heterogeneous Federated Learning
- Title(参考訳): すべてのマイノリティが等しくない:不均一連関学習のための空クラス対応蒸留
- Authors: Kuangpu Guo, Yuhe Ding, Jian Liang, Ran He, Zilei Wang, Tieniu Tan
- Abstract要約: FedEDは空級蒸留とロジット抑制を同時に統合する。
多数派に偏っている可能性のある少数派クラスの誤分類に対処する。
- 参考スコア(独自算出の注目度): 120.42853706967188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data heterogeneity, characterized by disparities in local data distribution
across clients, poses a significant challenge in federated learning.
Substantial efforts have been devoted to addressing the heterogeneity in local
label distribution. As minority classes suffer from worse accuracy due to
overfitting on local imbalanced data, prior methods often incorporate
class-balanced learning techniques during local training. Despite the improved
mean accuracy across all classes, we observe that empty classes-referring to
categories absent from a client's data distribution-are still not well
recognized. This paper introduces FedED, a novel approach in heterogeneous
federated learning that integrates both empty-class distillation and logit
suppression simultaneously. Specifically, empty-class distillation leverages
knowledge distillation during local training on each client to retain essential
information related to empty classes from the global model. Moreover, logit
suppression directly penalizes network logits for non-label classes,
effectively addressing misclassifications in minority classes that may be
biased toward majority classes. Extensive experiments validate the efficacy of
FedED, surpassing previous state-of-the-art methods across diverse datasets
with varying degrees of label distribution shift.
- Abstract(参考訳): データの不均一性は、クライアント間でのローカルなデータ分散の格差によって特徴づけられ、連合学習において大きな課題となる。
ローカルラベル分布の多様性に対処するためにかなりの努力が払われている。
マイノリティクラスは、局所的な不均衡データへの過剰適合によって、精度が低下するので、事前の手法では、ローカルトレーニング中にクラスバランスの学習技術が取り入れられることが多い。
全てのクラスの平均精度が向上したにもかかわらず、クライアントのデータ分散にないカテゴリの空のクラスは、まだよく認識されていないことを観察した。
本稿では,空クラス蒸留とロジット抑制を同時に統合した異種フェデレーション学習の新たなアプローチであるFedEDを紹介する。
特に、空クラス蒸留は、各クライアントのローカルトレーニング中の知識蒸留を利用して、グローバルモデルから空クラスに関する重要な情報を保持する。
さらに、ロジット抑制は、非ラベルクラスに対するネットワークロジットを直接罰し、多数派クラスに偏った少数派クラスの誤分類に効果的に対処する。
広範囲な実験によってfeedの有効性が検証され、ラベルの分布シフトの程度が異なる、さまざまなデータセットにわたる以前の最先端の手法を上回った。
関連論文リスト
- GeT: Generative Target Structure Debiasing for Domain Adaptation [67.17025068995835]
ドメイン適応(DA)は、ドメインシフトの下で、完全にラベル付けされたソースからほとんどラベル付けされていない、または完全にラベル付けされていないターゲットに知識を転送することを目的としています。
近年,擬似ラベリングを利用した半教師付き学習(SSL)技術がDAでますます普及している。
本稿では,高品質な擬似ラベルを用いた非バイアス対象埋め込み分布を学習するGeTを提案する。
論文 参考訳(メタデータ) (2023-08-20T08:52:43Z) - How Robust is Your Fairness? Evaluating and Sustaining Fairness under
Unseen Distribution Shifts [107.72786199113183]
CUMA(CUrvature Matching)と呼ばれる新しいフェアネス学習手法を提案する。
CUMAは、未知の分布シフトを持つ未知の領域に一般化可能な頑健な公正性を達成する。
提案手法を3つの人気フェアネスデータセットで評価する。
論文 参考訳(メタデータ) (2022-07-04T02:37:50Z) - Throwing Away Data Improves Worst-Class Error in Imbalanced
Classification [36.91428748713018]
クラス不均衡は分類問題に悪影響を及ぼすが、その治療は理論と実践において異なる。
本稿では,線形分離可能なデータに対する分類器の誤りを記述できる学習理論の開発に挑戦する。
論文 参考訳(メタデータ) (2022-05-23T23:43:18Z) - Imbalanced Classification via Explicit Gradient Learning From Augmented
Data [0.0]
本稿では、与えられた不均衡なデータセットを新しいマイノリティインスタンスに拡張する、新しい深層メタラーニング手法を提案する。
提案手法の利点は, 種々の不均衡比を持つ合成および実世界のデータセット上で実証される。
論文 参考訳(メタデータ) (2022-02-21T22:16:50Z) - Online Fairness-Aware Learning with Imbalanced Data Streams [9.481178205985396]
ストリーム上で有効かつ公平な分類を行うオンラインフェアネスアウェアアプローチとして,我々の提案する手法を提案する。
ウエーシスは オンライン・ブーピング・アプローチだ トレーニング・ディストリビューションを オンライン・スタイルで変更する ストリームのクラス不均衡を監視して
8つの実世界と1つの合成データセットの実験は、最先端の公正なストリームアプローチよりも、我々の手法が優れていることを示す。
論文 参考訳(メタデータ) (2021-08-13T13:31:42Z) - Fair-Net: A Network Architecture For Reducing Performance Disparity
Between Identifiable Sub-Populations [0.522145960878624]
特定可能なサブ人口間での分類精度と確率校正の両方を改善するマルチタスクニューラルネットワークアーキテクチャであるFair-Netを導入する。
3つの実世界のベンチマークデータセットによる実証研究は、Fair-Netが分類と校正性能を改善することを示した。
論文 参考訳(メタデータ) (2021-06-01T18:26:08Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳(メタデータ) (2021-05-22T18:07:56Z) - Fairness in Semi-supervised Learning: Unlabeled Data Help to Reduce
Discrimination [53.3082498402884]
機械学習の台頭における投機は、機械学習モデルによる決定が公正かどうかである。
本稿では,未ラベルデータのラベルを予測するための擬似ラベリングを含む,前処理フェーズにおける公平な半教師付き学習の枠組みを提案する。
偏見、分散、ノイズの理論的分解分析は、半教師付き学習における差別の異なる源とそれらが公平性に与える影響を浮き彫りにする。
論文 参考訳(メタデータ) (2020-09-25T05:48:56Z) - M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。
本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。
提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
論文 参考訳(メタデータ) (2020-04-01T13:21:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。