論文の概要: Exploring Vacant Classes in Label-Skewed Federated Learning

• arxiv url: http://arxiv.org/abs/2401.02329v3
• Date: Mon, 16 Dec 2024 15:42:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:01.775265
• Title: Exploring Vacant Classes in Label-Skewed Federated Learning
• Title（参考訳）: ラベルスキュード・フェデレーションラーニングにおけるバカント授業の探索
• Authors: Kuangpu Guo, Yuhe Ding, Jian Liang, Ran He, Zilei Wang, Tieniu Tan,
• Abstract要約: 本稿では,ラベルスキュード・フェデレーション学習の新しいアプローチであるFedVLSを紹介する。 空のクラス蒸留とロジット抑制を同時に統合する。 FedVLSの有効性を検証する実験は、従来のSOTA(State-of-the-art)法と比較して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 113.65301899666645
• License:
• Abstract: Label skews, characterized by disparities in local label distribution across clients, pose a significant challenge in federated learning. As minority classes suffer from worse accuracy due to overfitting on local imbalanced data, prior methods often incorporate class-balanced learning techniques during local training. Although these methods improve the mean accuracy across all classes, we observe that vacant classes-referring to categories absent from a client's data distribution-remain poorly recognized. Besides, there is still a gap in the accuracy of local models on minority classes compared to the global model. This paper introduces FedVLS, a novel approach to label-skewed federated learning that integrates both vacant-class distillation and logit suppression simultaneously. Specifically, vacant-class distillation leverages knowledge distillation during local training on each client to retain essential information related to vacant classes from the global model. Moreover, logit suppression directly penalizes network logits for non-label classes, effectively addressing misclassifications in minority classes that may be biased toward majority classes. Extensive experiments validate the efficacy of FedVLS, demonstrating superior performance compared to previous state-of-the-art (SOTA) methods across diverse datasets with varying degrees of label skews. Our code is available at https://github.com/krumpguo/FedVLS.
• Abstract（参考訳）: クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。 マイノリティクラスは、局所的な不均衡なデータに過度に適合するため、より正確な精度に苦しむため、従来の手法では、局所的な訓練中にクラスバランスの学習技術が組み込まれていることが多い。 これらの手法により,全てのクラスの平均精度が向上するが,クライアントのデータ分布から欠落したカテゴリに参照する空きクラスは認識されていない。 さらに、グローバルモデルと比較してマイノリティクラスの局所モデルの精度にはまだ差がある。 本稿では, ラベルスキュード・フェデレート学習における新しいアプローチであるFedVLSを紹介し, 空洞クラス蒸留とロジット抑制を同時に統合する。 具体的には、各クライアントでのローカルトレーニング中の知識蒸留を利用して、グローバルモデルから空クラスに関連する重要な情報を保持する。 さらに、ロジット抑制は、非ラベルクラスに対するネットワークロジットを直接罰し、多数派クラスに偏った少数派クラスの誤分類に効果的に対処する。 広範囲にわたる実験により、FedVLSの有効性が検証され、ラベルスキューの度合いの異なる様々なデータセットにわたる従来の最先端(SOTA)手法よりも優れた性能を示した。 私たちのコードはhttps://github.com/krumpguo/FedVLS.comで利用可能です。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Recovering Global Data Distribution Locally in Federated Learning [7.885010255812708]
  Federated Learning(FL)は、複数のクライアント間のコラボレーションを可能にする分散機械学習パラダイムである。 FLにおける大きな課題はラベルの不均衡であり、クライアントは少数派と欠落したクラスを多数持っている間、特定のクラスを独占する可能性がある。 本稿では,この課題に対処するための新しいアプローチであるReGLを提案し,その鍵となる考え方は,グローバルなデータ分布を局所的に検索することである。
  論文  参考訳（メタデータ） (2024-09-21T08:35:04Z)
• Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
  フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。 本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。 提案手法は最先端手法に比べて平均精度が13%高い。
  論文  参考訳（メタデータ） (2023-11-14T14:37:33Z)
• Addressing Class Variable Imbalance in Federated Semi-supervised Learning [10.542178602467885]
  我々は,クラス変数の不均衡を解決するために,FCVI(Federated Semi-supervised Learning for Class Variable Im Balance)を提案する。 FCVIは、クラス数の変化によるデータの不均衡を軽減するために使用される。 クライアントのプライバシを維持しながら,ベースライン方式よりもはるかに優れた手法であることが実証された。
  論文  参考訳（メタデータ） (2023-03-21T12:50:17Z)
• On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
  Semi-Supervised Learning (SSL)は基本的にラベルの問題である。 SSL に "class" を明示的に組み込んでいます。 提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
  論文  参考訳（メタデータ） (2022-06-29T22:01:29Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Federated Learning with Only Positive Labels [71.63836379169315]
  FedAwS(Federated Averaging with Spreadout)という,正のラベルのみを用いたトレーニングのための汎用フレームワークを提案する。 理論的にも経験的にも、FedAwSは、ユーザが負のラベルにアクセス可能な従来の学習のパフォーマンスとほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2020-04-21T23:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。