Fugu-MT 論文翻訳(概要): Not all Minorities are Equal: Empty-Class-Aware Distillation for Heterogeneous Federated Learning

論文の概要: Not all Minorities are Equal: Empty-Class-Aware Distillation for Heterogeneous Federated Learning

arxiv url: http://arxiv.org/abs/2401.02329v1
Date: Thu, 4 Jan 2024 16:06:31 GMT
ステータス: 処理完了
システム内更新日: 2024-01-05 14:45:56.799947
Title: Not all Minorities are Equal: Empty-Class-Aware Distillation for Heterogeneous Federated Learning
Title（参考訳）: すべてのマイノリティが等しくない:不均一連関学習のための空クラス対応蒸留
Authors: Kuangpu Guo, Yuhe Ding, Jian Liang, Ran He, Zilei Wang, Tieniu Tan
Abstract要約: FedEDは空級蒸留とロジット抑制を同時に統合する。多数派に偏っている可能性のある少数派クラスの誤分類に対処する。
参考スコア（独自算出の注目度）: 120.42853706967188
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data heterogeneity, characterized by disparities in local data distribution across clients, poses a significant challenge in federated learning. Substantial efforts have been devoted to addressing the heterogeneity in local label distribution. As minority classes suffer from worse accuracy due to overfitting on local imbalanced data, prior methods often incorporate class-balanced learning techniques during local training. Despite the improved mean accuracy across all classes, we observe that empty classes-referring to categories absent from a client's data distribution-are still not well recognized. This paper introduces FedED, a novel approach in heterogeneous federated learning that integrates both empty-class distillation and logit suppression simultaneously. Specifically, empty-class distillation leverages knowledge distillation during local training on each client to retain essential information related to empty classes from the global model. Moreover, logit suppression directly penalizes network logits for non-label classes, effectively addressing misclassifications in minority classes that may be biased toward majority classes. Extensive experiments validate the efficacy of FedED, surpassing previous state-of-the-art methods across diverse datasets with varying degrees of label distribution shift.
Abstract（参考訳）: データの不均一性は、クライアント間でのローカルなデータ分散の格差によって特徴づけられ、連合学習において大きな課題となる。ローカルラベル分布の多様性に対処するためにかなりの努力が払われている。マイノリティクラスは、局所的な不均衡データへの過剰適合によって、精度が低下するので、事前の手法では、ローカルトレーニング中にクラスバランスの学習技術が取り入れられることが多い。全てのクラスの平均精度が向上したにもかかわらず、クライアントのデータ分散にないカテゴリの空のクラスは、まだよく認識されていないことを観察した。本稿では,空クラス蒸留とロジット抑制を同時に統合した異種フェデレーション学習の新たなアプローチであるFedEDを紹介する。特に、空クラス蒸留は、各クライアントのローカルトレーニング中の知識蒸留を利用して、グローバルモデルから空クラスに関する重要な情報を保持する。さらに、ロジット抑制は、非ラベルクラスに対するネットワークロジットを直接罰し、多数派クラスに偏った少数派クラスの誤分類に効果的に対処する。広範囲な実験によってfeedの有効性が検証され、ラベルの分布シフトの程度が異なる、さまざまなデータセットにわたる以前の最先端の手法を上回った。

関連論文リスト

Partial Knowledge Distillation for Alleviating the Inherent Inter-Class Discrepancy in Federated Learning [2.395881636777087]
クラスバランス学習においても弱いクラスが一貫して存在することを観察する。クラス間精度の差は、FashionMNISTとCIFAR-10データセットのフェデレーション学習で36.9%以上に達する。本稿では,弱いクラスの分類精度を向上させるために,クラス固有の部分的知識蒸留法を提案する。
論文参考訳（メタデータ） (2024-11-23T01:16:46Z)
FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。 FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
論文参考訳（メタデータ） (2024-04-14T10:23:30Z)
Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。提案手法は最先端手法に比べて平均精度が13%高い。
論文参考訳（メタデータ） (2023-11-14T14:37:33Z)
On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
Semi-Supervised Learning (SSL)は基本的にラベルの問題である。 SSL に "class" を明示的に組み込んでいます。提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
論文参考訳（メタデータ） (2022-06-29T22:01:29Z)
Towards Unbiased Multi-label Zero-Shot Learning with Pyramid and Semantic Attention [14.855116554722489]
マルチラベルゼロショット学習は、各入力サンプルに対して、複数の未確認クラスのラベルを認識することを目的としている。本稿では,多様なクラス固有の領域を考慮し,非バイアス付きマルチラベルゼロショット学習の枠組みを提案する。
論文参考訳（メタデータ） (2022-03-07T15:52:46Z)
Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文参考訳（メタデータ） (2021-10-22T01:55:01Z)
PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文参考訳（メタデータ） (2021-05-22T18:07:56Z)
Federated Learning with Only Positive Labels [71.63836379169315]
FedAwS(Federated Averaging with Spreadout)という,正のラベルのみを用いたトレーニングのための汎用フレームワークを提案する。理論的にも経験的にも、FedAwSは、ユーザが負のラベルにアクセス可能な従来の学習のパフォーマンスとほぼ一致していることを示す。
論文参考訳（メタデータ） (2020-04-21T23:35:02Z)
M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
論文参考訳（メタデータ） (2020-04-01T13:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。