論文の概要: FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients

• arxiv url: http://arxiv.org/abs/2402.10191v1
• Date: Thu, 15 Feb 2024 18:48:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 14:09:38.391380
• Title: FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients
• Title（参考訳）: FedAnchor: ラベルコントラストによるフェデレーションによる半教師付き学習の強化
• Authors: Xinchi Qiu, Yan Gao, Lorenzo Sani, Heng Pan, Wanru Zhao, Pedro P. B. Gusmao, Mina Alibeigi, Alex Iacob, Nicholas D. Lane
• Abstract要約: Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
• 参考スコア（独自算出の注目度）: 19.3885479917635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a distributed learning paradigm that facilitates collaborative training of a shared global model across devices while keeping data localized. The deployment of FL in numerous real-world applications faces delays, primarily due to the prevalent reliance on supervised tasks. Generating detailed labels at edge devices, if feasible, is demanding, given resource constraints and the imperative for continuous data updates. In addressing these challenges, solutions such as federated semi-supervised learning (FSSL), which relies on unlabeled clients' data and a limited amount of labeled data on the server, become pivotal. In this paper, we propose FedAnchor, an innovative FSSL method that introduces a unique double-head structure, called anchor head, paired with the classification head trained exclusively on labeled anchor data on the server. The anchor head is empowered with a newly designed label contrastive loss based on the cosine similarity metric. Our approach mitigates the confirmation bias and overfitting issues associated with pseudo-labeling techniques based on high-confidence model prediction samples. Extensive experiments on CIFAR10/100 and SVHN datasets demonstrate that our method outperforms the state-of-the-art method by a significant margin in terms of convergence rate and model accuracy.
• Abstract（参考訳）: Federated Learning(FL)は、データのローカライズを維持しながら、デバイス間で共有グローバルモデルの協調トレーニングを容易にする分散学習パラダイムである。 多数の現実世界のアプリケーションへのflのデプロイは、主に監督されたタスクに依存することによる遅延に直面している。 エッジデバイスで詳細なラベルを生成するには、リソースの制約と継続的なデータ更新の必要条件が必要になります。 これらの課題に対処する上で、ラベルのないクライアントのデータと限られた量のラベル付きデータに依存するfssl(federated semi-supervised learning)のようなソリューションが重要となる。 本稿では,サーバ上のラベル付きアンカーデータに特化して訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 アンカーヘッドは、コサイン類似度メトリックに基づいて新しく設計されたラベルのコントラスト損失によって付与される。 本手法は,高い信頼度モデル予測サンプルに基づく擬似ラベル技術に関連する確認バイアスを軽減し,問題をオーバーフィットする。 CIFAR10/100データセットとSVHNデータセットの大規模な実験により,本手法は収束率とモデル精度において有意差で最先端の手法より優れていることが示された。

関連論文リスト

• Overcoming label shift in targeted federated learning [8.223143536605248]
  フェデレーション学習は、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。 ひとつの一般的な違反はラベルシフトであり、そこでは、クライアント間で、あるいはクライアントとターゲットドメイン間で、ラベルの分布が異なる。 我々は,中心サーバにおけるターゲットラベル分布の知識を活用することで,ラベルシフトに適応する新しいモデルアグリゲーション手法であるFedPALSを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:52:45Z)
• Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
  ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。 FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。 提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
  論文  参考訳（メタデータ） (2024-11-02T13:31:36Z)
• (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
  Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。 ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。 本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:15:02Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
  FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
  論文  参考訳（メタデータ） (2023-12-16T05:08:02Z)
• Navigating Data Heterogeneity in Federated Learning A Semi-Supervised Federated Object Detection [3.7398615061365206]
  フェデレートラーニング(FL)は、分散データソース間でモデルをトレーニングするための強力なフレームワークとして登場した。 特に自動運転のようなアプリケーションでは、高品質なラベルや、IID以外のクライアントデータに制限がある。 クライアントがラベル付きデータを持っている間、ラベル付きデータがサーバにのみ存在するシナリオ用に設計された、先駆的なSSFODフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-26T01:40:28Z)
• ProtoCon: Pseudo-label Refinement via Online Clustering and Prototypical Consistency for Efficient Semi-supervised Learning [60.57998388590556]
  ProtoConは信頼性に基づく疑似ラベル作成の新しい手法である。 ProtoConのオンライン版では、データセット全体のラベル履歴を1回のトレーニングサイクルで活用することができる。 最先端のデータセットよりも大幅に向上し、より高速に収束する。
  論文  参考訳（メタデータ） (2023-03-22T23:51:54Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。