論文の概要: Local or Global: Selective Knowledge Assimilation for Federated Learning with Limited Labels

• arxiv url: http://arxiv.org/abs/2307.08809v1
• Date: Mon, 17 Jul 2023 19:50:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 17:31:06.054376
• Title: Local or Global: Selective Knowledge Assimilation for Federated Learning with Limited Labels
• Title（参考訳）: ローカルかグローバルか:限定ラベルによるフェデレーション学習のための選択的知識同化
• Authors: Yae Jee Cho and Gauri Joshi and Dimitrios Dimitriadis
• Abstract要約: 既存のFLメソッドの多くは、完全にラベル付けされたデータを持つクライアントを前提としていますが、現実的な設定では、クライアントは限られたラベルを持っています。 我々はFedLabelを提案し、クライアントはローカルまたはグローバルモデルを選択してラベルのないデータを擬似ラベルする。 提案手法では,ローカルモデルやグローバルモデル以外の専門家は必要とせず,通信するパラメータも必要としない。
• 参考スコア（独自算出の注目度）: 22.382721887359782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many existing FL methods assume clients with fully-labeled data, while in realistic settings, clients have limited labels due to the expensive and laborious process of labeling. Limited labeled local data of the clients often leads to their local model having poor generalization abilities to their larger unlabeled local data, such as having class-distribution mismatch with the unlabeled data. As a result, clients may instead look to benefit from the global model trained across clients to leverage their unlabeled data, but this also becomes difficult due to data heterogeneity across clients. In our work, we propose FedLabel where clients selectively choose the local or global model to pseudo-label their unlabeled data depending on which is more of an expert of the data. We further utilize both the local and global models' knowledge via global-local consistency regularization which minimizes the divergence between the two models' outputs when they have identical pseudo-labels for the unlabeled data. Unlike other semi-supervised FL baselines, our method does not require additional experts other than the local or global model, nor require additional parameters to be communicated. We also do not assume any server-labeled data or fully labeled clients. For both cross-device and cross-silo settings, we show that FedLabel outperforms other semi-supervised FL baselines by $8$-$24\%$, and even outperforms standard fully supervised FL baselines ($100\%$ labeled data) with only $5$-$20\%$ of labeled data.
• Abstract（参考訳）: 既存のflメソッドの多くは、完全なラベル付きデータを持つクライアントを想定しているが、現実的な設定では、ラベル付けのコストと手間のかかるプロセスのために、クライアントは限定的なラベルを持っている。 限定ラベル付きローカルデータは、しばしば、未ラベルデータとのクラス分配ミスマッチなど、より大きな未ラベルのローカルデータに対する一般化能力の低いローカルモデルにつながる。 結果として、クライアントは、ラベル付けされていないデータを活用するためにクライアント間でトレーニングされたグローバルモデルの恩恵を受けることができるが、クライアント間のデータの均一性のため、これは難しくなる。 そこで本研究では,クライアントがローカルモデルやグローバルモデルを選択的に選択し,ラベルのないデータをデータの専門家のどちらかに応じて擬似ラベル付けするfeedlabelを提案する。 さらに, ローカルモデルとグローバルモデルの両方の知識をグローバル局所整合正則化により活用し, ラベルのないデータに対して同一の擬似ラベルを持つ場合の出力のばらつきを最小化する。 他の半教師付きFLベースラインとは異なり、本手法では局所的あるいは大域的モデル以外の専門家は必要とせず、通信するパラメータも必要としない。 サーバラベル付きデータや完全なラベル付きクライアントも想定していません。 クロスデバイスとクロスサイロの両方の設定において、FedLabelは、他の半教師付きFLベースラインを8-24-%$で上回り、標準のフル教師付きFLベースライン(100-%$ラベル付きデータ)をわずか5-20-%$で上回ります。

関連論文リスト

• (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
  Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。 ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。 本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:15:02Z)
• Federated Learning with Label-Masking Distillation [33.80340338038264]
  フェデレーション学習は、複数のローカルクライアントに分散したデータ上でモデルを協調的にトレーニングするための、プライバシ保護の方法を提供する。 クライアントのユーザ動作が異なるため、異なるクライアント間のラベルの分布は著しく異なる。 本稿では,FedLMDと呼ばれるラベルマスキング蒸留手法を提案し,各クライアントのラベル分布を知覚することで,フェデレーション学習を容易にする。
  論文  参考訳（メタデータ） (2024-09-20T00:46:04Z)
• Learning Unlabeled Clients Divergence for Federated Semi-Supervised Learning via Anchor Model Aggregation [10.282711631100845]
  SemiAnAggはアンカーモデルを通じて未ラベルのクライアントコントリビューションを学習する。 SemiAnAggは4つの広く使用されているFedSemiベンチマークにおいて、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T20:50:40Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis [23.70951896315126]
  この研究は、サーバを小さなラベル付きデータセットで検討し、ラベルなしデータを複数のクライアントで半教師付き学習に使用することを意図している。 本稿では,サーバ内のラベル付きデータとクライアント内のラベルなしデータをどのように利用するかという問題に対処するため,一般化されたモデルであるFederated Incremental Learning (FedIL)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T07:12:12Z)
• FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels [49.47228898303909]
  フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。 ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。 サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
  論文  参考訳（メタデータ） (2022-05-20T12:06:39Z)
• FedCorr: Multi-Stage Federated Learning for Label Noise Correction [80.9366438220228]
  Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。 FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。 CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
  論文  参考訳（メタデータ） (2022-04-10T12:51:18Z)
• Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
  Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。 本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
  論文  参考訳（メタデータ） (2022-04-07T09:12:00Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。