Fugu-MT 論文翻訳(概要): Federated Learning with Label-Masking Distillation

論文の概要: Federated Learning with Label-Masking Distillation

arxiv url: http://arxiv.org/abs/2409.13136v1
Date: Fri, 20 Sep 2024 00:46:04 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 11:52:12.887539
Title: Federated Learning with Label-Masking Distillation
Title（参考訳）: ラベルマスキング蒸留によるフェデレートラーニング
Authors: Jianghu Lu, Shikun Li, Kexin Bao, Pengju Wang, Zhenxing Qian, Shiming Ge,
Abstract要約: フェデレーション学習は、複数のローカルクライアントに分散したデータ上でモデルを協調的にトレーニングするための、プライバシ保護の方法を提供する。クライアントのユーザ動作が異なるため、異なるクライアント間のラベルの分布は著しく異なる。本稿では,FedLMDと呼ばれるラベルマスキング蒸留手法を提案し,各クライアントのラベル分布を知覚することで,フェデレーション学習を容易にする。
参考スコア（独自算出の注目度）: 33.80340338038264
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning provides a privacy-preserving manner to collaboratively train models on data distributed over multiple local clients via the coordination of a global server. In this paper, we focus on label distribution skew in federated learning, where due to the different user behavior of the client, label distributions between different clients are significantly different. When faced with such cases, most existing methods will lead to a suboptimal optimization due to the inadequate utilization of label distribution information in clients. Inspired by this, we propose a label-masking distillation approach termed FedLMD to facilitate federated learning via perceiving the various label distributions of each client. We classify the labels into majority and minority labels based on the number of examples per class during training. The client model learns the knowledge of majority labels from local data. The process of distillation masks out the predictions of majority labels from the global model, so that it can focus more on preserving the minority label knowledge of the client. A series of experiments show that the proposed approach can achieve state-of-the-art performance in various cases. Moreover, considering the limited resources of the clients, we propose a variant FedLMD-Tf that does not require an additional teacher, which outperforms previous lightweight approaches without increasing computational costs. Our code is available at https://github.com/wnma3mz/FedLMD.
Abstract（参考訳）: フェデレーション学習は、グローバルサーバの調整を通じて、複数のローカルクライアントに分散したデータ上でモデルを協調的にトレーニングするための、プライバシ保護の方法を提供する。本稿では,クライアントのユーザ行動が異なるため,異なるクライアント間のラベル分布が著しく異なる,フェデレート学習におけるラベル分布スキューに着目した。このようなケースに直面した場合、ほとんどの既存手法は、クライアントにおけるラベル分布情報の不十分な利用により、最適以下に最適化される。そこで我々は,FedLMDと呼ばれるラベルマスキング蒸留手法を提案し,各クライアントのラベル分布を知覚することで,フェデレーション学習を容易にする。トレーニング中のクラス毎のサンプル数に基づいて、ラベルを多数と少数に分類する。クライアントモデルは、ローカルデータから大多数のラベルの知識を学習する。蒸留のプロセスは、グローバルモデルから大多数のラベルの予測を隠蔽し、クライアントのマイノリティなラベル知識の保存に集中できるようにします。一連の実験により, 提案手法は様々なケースで最先端の性能を達成できることが示されている。さらに,クライアントの限られたリソースを考慮し,計算コストを増大させることなく,従来の軽量なアプローチよりも優れた教師を必要としないFedLMD-Tfを提案する。私たちのコードはhttps://github.com/wnma3mz/FedLMDで利用可能です。

関連論文リスト

Overcoming label shift in targeted federated learning [8.223143536605248]
フェデレーション学習は、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。ひとつの一般的な違反はラベルシフトであり、そこでは、クライアント間で、あるいはクライアントとターゲットドメイン間で、ラベルの分布が異なる。我々は,中心サーバにおけるターゲットラベル分布の知識を活用することで,ラベルシフトに適応する新しいモデルアグリゲーション手法であるFedPALSを提案する。
論文参考訳（メタデータ） (2024-11-06T09:52:45Z)
Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。 FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
論文参考訳（メタデータ） (2024-11-02T13:31:36Z)
(FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
論文参考訳（メタデータ） (2024-10-30T17:15:02Z)
Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文参考訳（メタデータ） (2024-04-24T02:22:50Z)
Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
論文参考訳（メタデータ） (2024-01-04T16:06:31Z)
FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis [23.70951896315126]
この研究は、サーバを小さなラベル付きデータセットで検討し、ラベルなしデータを複数のクライアントで半教師付き学習に使用することを意図している。本稿では,サーバ内のラベル付きデータとクライアント内のラベルなしデータをどのように利用するかという問題に対処するため,一般化されたモデルであるFederated Incremental Learning (FedIL)を提案する。
論文参考訳（メタデータ） (2023-02-23T07:12:12Z)
FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels [49.47228898303909]
フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
論文参考訳（メタデータ） (2022-05-20T12:06:39Z)
Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
監督されたディープラーニングは、大量の注釈付き例に依存している。典型的な方法は、複数のノイズアノテータから学習することである。本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
論文参考訳（メタデータ） (2022-03-08T16:57:00Z)
PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文参考訳（メタデータ） (2021-05-22T18:07:56Z)
Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。