論文の概要: Partial Knowledge Distillation for Alleviating the Inherent Inter-Class Discrepancy in Federated Learning

• arxiv url: http://arxiv.org/abs/2411.15403v1
• Date: Sat, 23 Nov 2024 01:16:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:19:46.096139
• Title: Partial Knowledge Distillation for Alleviating the Inherent Inter-Class Discrepancy in Federated Learning
• Title（参考訳）: フェデレーション学習におけるクラス間の相違を緩和するための部分的知識蒸留
• Authors: Xiaoyu Gan, Xizi Chen, Jingyang Zhu, Xiaomeng Wang, Jingbo Jiang, Chi-Ying Tsui,
• Abstract要約: クラスバランス学習においても弱いクラスが一貫して存在することを観察する。 クラス間精度の差は、FashionMNISTとCIFAR-10データセットのフェデレーション学習で36.9%以上に達する。 本稿では,弱いクラスの分類精度を向上させるために,クラス固有の部分的知識蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 2.395881636777087
• License:
• Abstract: Substantial efforts have been devoted to alleviating the impact of the long-tailed class distribution in federated learning. In this work, we observe an interesting phenomenon that weak classes consistently exist even for class-balanced learning. These weak classes, different from the minority classes in the previous works, are inherent to data and remain fairly consistent for various network structures and learning paradigms. The inherent inter-class accuracy discrepancy can reach over 36.9% for federated learning on the FashionMNIST and CIFAR-10 datasets, even when the class distribution is balanced both globally and locally. In this study, we empirically analyze the potential reason for this phenomenon. Furthermore, a class-specific partial knowledge distillation method is proposed to improve the model's classification accuracy for weak classes. In this approach, knowledge transfer is initiated upon the occurrence of specific misclassifications within certain weak classes. Experimental results show that the accuracy of weak classes can be improved by 10.7%, reducing the inherent interclass discrepancy effectively.
• Abstract（参考訳）: 連合学習における長い尾のクラス分布の影響を軽減するために、実質的な努力が注がれている。 本研究では,クラスバランス学習においても弱いクラスが一貫して存在するという興味深い現象を観察する。 これらの弱いクラスは、以前の作品のマイノリティクラスとは異なるものであり、データ固有のものであり、様々なネットワーク構造や学習パラダイムに対してかなり一貫性がある。 FashionMNIST と CIFAR-10 のデータセットでは、クラス間の精度の差が36.9%以上に達する。 本研究では,この現象の潜在的な原因を実証的に分析する。 さらに,弱いクラスに対する分類精度を向上させるために,クラス固有の部分的知識蒸留法を提案する。 このアプローチでは、ある弱いクラス内で特定の誤分類が発生すると、知識伝達が開始される。 実験の結果,弱いクラスの精度は10.7%向上し,クラス間差を効果的に低減できることがわかった。

関連論文リスト

• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• Addressing Imbalance for Class Incremental Learning in Medical Image Classification [14.242875524728495]
  不均衡の悪影響を軽減するために2つのプラグイン法を導入する。 まず、多数派に対する分類バイアスを軽減するために、CILバランスの取れた分類損失を提案する。 第2に,組込み空間におけるクラス間重複を緩和するだけでなく,クラス内コンパクト性も緩和する分布マージン損失を提案する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:44Z)
• Learning Confidence Bounds for Classification with Imbalanced Data [42.690254618937196]
  本稿では,学習理論と集中不等式を利用して従来のソリューションの欠点を克服する新しい枠組みを提案する。 本手法は, クラスごとに異なる不均衡度に効果的に適応できるため, より堅牢で信頼性の高い分類結果が得られる。
  論文  参考訳（メタデータ） (2024-07-16T16:02:27Z)
• Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
  本稿では,ラベルスキュード・フェデレーション学習の新しいアプローチであるFedVLSを紹介する。 空のクラス蒸留とロジット抑制を同時に統合する。 FedVLSの有効性を検証する実験は、従来のSOTA(State-of-the-art)法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-04T16:06:31Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Towards Fast and Stable Federated Learning: Confronting Heterogeneity via Knowledge Anchor [18.696420390977863]
  本稿では,異なる通信ラウンド間の局所訓練において,各クラスを忘れる程度を系統的に分析する。 これらの知見に触発され,FedKA(Federated Knowledge Anchor)と呼ばれる新しい,簡単なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-05T01:12:56Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Fairness-aware Class Imbalanced Learning [57.45784950421179]
  つぶやきの感情と職業分類のロングテール学習手法を評価する。 フェアネスを強制する手法により、マージンロスに基づくアプローチを拡張します。
  論文  参考訳（メタデータ） (2021-09-21T22:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。