論文の概要: FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning
- arxiv url: http://arxiv.org/abs/2608.23031v2
- Date: Wed, 26 Aug 2026 17:35:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.021515
- Title: FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning
- Title（参考訳）: FedCC:蒸留法に基づくフェデレーション学習におけるラベル配布スキューへの取り組み
- Abstract要約: Federated Learning (FL)は、分散クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。
蒸留ベースのFLでは、各クライアントはそのローカルモデルをラベルなしのパブリックデータセットに適用し、サーバにのみ予測結果を共有する。
本稿では,クライアントの誤分類を緩和する簡易かつ効果的なアルゴリズムであるFedCCを提案する。
- 参考スコア（独自算出の注目度）: 6.693752118202639
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) enables distributed clients to collaboratively train models without sharing raw data, making it promising for leveraging massive devices in communication networks. In distillation-based FL, each client applies its local model on an unlabeled public dataset, and shares only prediction results with the server. While heterogeneous local data introduces label distribution skew, thus biasing client models toward majority classes and leading to potentially inaccurate predictions. The lack of ground-truth labels in the public dataset hampers the server's ability to calibrate predictions, which ultimately degrades overall performance. To address this, we propose FedCC, a simple and effective algorithm for mitigating client misclassification. Instead of being forced to classify and risking error propagation, clients are allowed to tag ambiguous samples as 'unknown'. This additional class, together with calibrated pseudo-labels on the public data, balances confidence in majority classes against uncertainty in under-represented ones. Extensive experiments demonstrate that FedCC significantly outperforms existing methods, especially under severe label skew. In the extreme scenario where each client holds samples from only one of ten classes, FedCC achieves 67.3% accuracy, while baselines collapse to near-random results.
- Abstract（参考訳）: フェデレートラーニング(FL)は、分散クライアントが生データを共有せずに協力的にモデルをトレーニングすることを可能にし、通信ネットワークで巨大なデバイスを活用することを約束する。
蒸留ベースのFLでは、各クライアントはそのローカルモデルをラベルのない公開データセットに適用し、サーバと予測結果を共有する。
不均一なローカルデータは、ラベルの分布スキューを導入し、クライアントモデルを多数派クラスに偏り、潜在的に不正確な予測をもたらす。
パブリックデータセットにグランドトラストラベルがないことで、サーバが予測をキャリブレーションする能力が損なわれ、最終的には全体的なパフォーマンスが低下する。
そこで本研究では,クライアントの誤分類を緩和する簡易かつ効果的なアルゴリズムであるFedCCを提案する。
エラーの伝播を分類してリスクを負わされる代わりに、クライアントはあいまいなサンプルを"未知"としてタグ付けすることが許される。
この追加クラスは、公開データのキャリブレーションされた擬似ラベルとともに、少数クラスにおける信頼度と、未表現クラスにおける不確実性とのバランスをとる。
大規模な実験により、FedCCは既存の方法、特に重度ラベルスキューにおいて著しく優れていた。
クライアントが10つのクラスのうち1つしかサンプルを持っていない極端なシナリオでは、FedCCは67.3%の精度を達成し、ベースラインはほぼランダムな結果に崩壊する。
関連論文リスト
- Provably Near-Optimal Federated Ensemble Distillation with Negligible Overhead [11.115044922684545]
フェデレートされたアンサンブル蒸留は、クライアント予測に基づいて、未ラベルのサーバデータセットの擬似ラベルを生成することによって、クライアントの不均一性に対処する。
本稿では,サーバ分散ジェネレータとローカルデータセットで学習したクライアント識別器を活用する,実証可能な近似重み付け手法を提案する。
様々な画像分類タスクに関する実験により,提案手法がベースラインを著しく上回ることを示す。
論文 参考訳（メタデータ） (2025-02-10T10:58:57Z) - Uncertainty-Aware Label Refinement on Hypergraphs for Personalized Federated Facial Expression Recognition [58.98052764581606]
我々はhYpergraphs (AMY) 法に基づく新しい不確実性認識ラベルリファレントを開発する。
ローカルトレーニングでは、各ローカルモデルは、バックボーン、不確実性推定(UE)ブロック、および式分類(EC)ブロックで構成される。
次に、ローカルクライアントにおける標本の不確実性重みを推定するために、パーソナライズされた不確実性推定器を導入する。
論文 参考訳（メタデータ） (2025-01-03T13:59:21Z) - Boosting Federated Learning with FedEntOpt: Mitigating Label Skew by Entropy-Based Client Selection [13.851391819710367]
ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。
FedEntOptは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。
低い参加率とクライアントのドロップアウトのシナリオでは、堅牢で優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-11-02T13:31:36Z) - (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。
ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。
本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
論文 参考訳（メタデータ） (2024-10-30T17:15:02Z) - Federated Learning with Label-Masking Distillation [33.80340338038264]
フェデレーション学習は、複数のローカルクライアントに分散したデータ上でモデルを協調的にトレーニングするための、プライバシ保護の方法を提供する。
クライアントのユーザ動作が異なるため、異なるクライアント間のラベルの分布は著しく異なる。
本稿では,FedLMDと呼ばれるラベルマスキング蒸留手法を提案し,各クライアントのラベル分布を知覚することで,フェデレーション学習を容易にする。
論文 参考訳（メタデータ） (2024-09-20T00:46:04Z) - Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。
本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。
ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文 参考訳（メタデータ） (2024-04-24T02:22:50Z) - Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
本稿では,ラベルスキュード・フェデレーション学習の新しいアプローチであるFedVLSを紹介する。
空のクラス蒸留とロジット抑制を同時に統合する。
FedVLSの有効性を検証する実験は、従来のSOTA(State-of-the-art)法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-04T16:06:31Z) - FedIL: Federated Incremental Learning from Decentralized Unlabeled Data
with Convergence Analysis [23.70951896315126]
この研究は、サーバを小さなラベル付きデータセットで検討し、ラベルなしデータを複数のクライアントで半教師付き学習に使用することを意図している。
本稿では,サーバ内のラベル付きデータとクライアント内のラベルなしデータをどのように利用するかという問題に対処するため,一般化されたモデルであるFederated Incremental Learning (FedIL)を提案する。
論文 参考訳（メタデータ） (2023-02-23T07:12:12Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Federated Learning from Only Unlabeled Data with
Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。
本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文 参考訳（メタデータ） (2022-04-07T09:12:00Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。