論文の概要: Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch

• arxiv url: http://arxiv.org/abs/2503.13227v1
• Date: Mon, 17 Mar 2025 14:41:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:33:44.277393
• Title: Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch
• Title（参考訳）: Mind the Gap: 信頼の相違は、疑似ミスマッチを越えて半監督的な学習をガイドできる
• Authors: Yijie Liu, Xinyi Shang, Yiqun Zhang, Yang Lu, Chen Gong, Jing-Hao Xue, Hanzi Wang,
• Abstract要約: Federated Semi-Supervised Learning (FSSL)は、ラベル付きデータに制限のあるクライアント間でラベル付きデータを活用して、強力な一般化能力を持つグローバルモデルをトレーニングすることを目的としている。 ほとんどのFSSL手法は擬似ラベルによる整合正則化に依存しており、局所的またはグローバルなモデルからの予測を監督信号としてハード擬似ラベルに変換する。 擬似ラベルの品質は、フェデレーション学習の本質的な側面であるデータ不均一性によって大きく劣化していることを示す。
• 参考スコア（独自算出の注目度）: 50.632535091877706
• License:
• Abstract: Federated Semi-Supervised Learning (FSSL) aims to leverage unlabeled data across clients with limited labeled data to train a global model with strong generalization ability. Most FSSL methods rely on consistency regularization with pseudo-labels, converting predictions from local or global models into hard pseudo-labels as supervisory signals. However, we discover that the quality of pseudo-label is largely deteriorated by data heterogeneity, an intrinsic facet of federated learning. In this paper, we study the problem of FSSL in-depth and show that (1) heterogeneity exacerbates pseudo-label mismatches, further degrading model performance and convergence, and (2) local and global models' predictive tendencies diverge as heterogeneity increases. Motivated by these findings, we propose a simple and effective method called Semi-supervised Aggregation for Globally-Enhanced Ensemble (SAGE), that can flexibly correct pseudo-labels based on confidence discrepancies. This strategy effectively mitigates performance degradation caused by incorrect pseudo-labels and enhances consensus between local and global models. Experimental results demonstrate that SAGE outperforms existing FSSL methods in both performance and convergence. Our code is available at https://github.com/Jay-Codeman/SAGE
• Abstract（参考訳）: Federated Semi-Supervised Learning (FSSL)は、ラベル付きデータに制限のあるクライアント間でラベル付きデータを活用して、強力な一般化能力を持つグローバルモデルをトレーニングすることを目的としている。 ほとんどのFSSL手法は擬似ラベルによる整合正則化に依存しており、局所的またはグローバルなモデルからの予測を監督信号としてハード擬似ラベルに変換する。 しかし,フェデレート学習の本質的な側面であるデータ不均一性により,擬似ラベルの品質が著しく低下していることが判明した。 本稿では,(1)不均一性により擬似ラベルミスマッチが悪化し,モデル性能と収束がさらに悪化し,(2)局所モデルとグローバルモデルの予測傾向が異質性の増加とともに変化することを示す。 これらの知見を生かして,信頼性の相違点に基づいて疑似ラベルを柔軟に補正する,SAGE(Semi-supervised Aggregation for Globally-Enhanced Ensemble)という,シンプルで効果的な手法を提案する。 この戦略は、誤った擬似ラベルによる性能劣化を効果的に軽減し、局所モデルとグローバルモデル間のコンセンサスを高める。 実験の結果、SAGEは既存のFSSLメソッドよりも性能と収束性が優れていることが示された。 私たちのコードはhttps://github.com/Jay-Codeman/SAGEで利用可能です。

関連論文リスト

• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Federated Learning with Classifier Shift for Class Imbalance [6.097542448692326]
  フェデレートラーニングは、トレーニングデータが異なるクライアントに属している間、グローバルモデルを協調的に学習することを目的としており、交換は許されない。 本稿では,クラス不均衡の負の影響を軽減するため,局所学習期間中の分類器出力の変化を緩和するFedShiftという,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-04-11T04:38:39Z)
• FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels [49.47228898303909]
  フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。 ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。 サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
  論文  参考訳（メタデータ） (2022-05-20T12:06:39Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning [8.474470736998136]
  フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。 偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。 本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-06T11:51:47Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。