論文の概要: Overcoming label shift in targeted federated learning

• arxiv url: http://arxiv.org/abs/2411.03799v1
• Date: Wed, 06 Nov 2024 09:52:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:17.329123
• Title: Overcoming label shift in targeted federated learning
• Title（参考訳）: 目標学習におけるラベルシフトの克服
• Authors: Edvin Listo Zec, Adam Breitholtz, Fredrik D. Johansson,
• Abstract要約: フェデレーション学習は、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。 ひとつの一般的な違反はラベルシフトであり、そこでは、クライアント間で、あるいはクライアントとターゲットドメイン間で、ラベルの分布が異なる。 我々は,中心サーバにおけるターゲットラベル分布の知識を活用することで,ラベルシフトに適応する新しいモデルアグリゲーション手法であるFedPALSを提案する。
• 参考スコア（独自算出の注目度）: 8.223143536605248
• License:
• Abstract: Federated learning enables multiple actors to collaboratively train models without sharing private data. This unlocks the potential for scaling machine learning to diverse applications. Existing algorithms for this task are well-justified when clients and the intended target domain share the same distribution of features and labels, but this assumption is often violated in real-world scenarios. One common violation is label shift, where the label distributions differ across clients or between clients and the target domain, which can significantly degrade model performance. To address this problem, we propose FedPALS, a novel model aggregation scheme that adapts to label shifts by leveraging knowledge of the target label distribution at the central server. Our approach ensures unbiased updates under stochastic gradient descent, ensuring robust generalization across clients with diverse, label-shifted data. Extensive experiments on image classification demonstrate that FedPALS consistently outperforms standard baselines by aligning model aggregation with the target domain. Our findings reveal that conventional federated learning methods suffer severely in cases of extreme client sparsity, highlighting the critical need for target-aware aggregation. FedPALS offers a principled and practical solution to mitigate label distribution mismatch, ensuring models trained in federated settings can generalize effectively to label-shifted target domains.
• Abstract（参考訳）: フェデレーション学習は、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。 これにより、機械学習をさまざまなアプリケーションに拡張することが可能になる。 このタスクの既存のアルゴリズムは、クライアントと目的のターゲットドメインが同じ機能やラベルの分布を共有している場合、適切に調整されるが、この仮定は現実のシナリオでしばしば破られる。 1つの一般的な違反はラベルシフトであり、そこでは、ラベルの分布がクライアント間、またはクライアントとターゲットドメイン間で異なるため、モデルの性能が著しく低下する可能性がある。 この問題に対処するため,FedPALSを提案する。FedPALSは,中心サーバにおけるターゲットラベル分布の知識を活用することで,ラベルシフトに対応する新しいモデルアグリゲーション方式である。 当社のアプローチでは,確率勾配勾配下での非バイアスな更新を保証し,多様なラベルシフトデータを持つクライアント間で堅牢な一般化を実現する。 画像分類に関する大規模な実験により、FedPALSはモデルアグリゲーションを対象領域と整合させることで、標準ベースラインを一貫して上回ることを示した。 以上の結果から,従来のフェデレーション学習手法は,過度にクライアントが分散した場合に重篤な障害を負うことが明らかとなり,目標認識集約に対する重要なニーズが浮き彫りとなった。 FedPALSは、ラベル分散ミスマッチを緩和するための原則的で実用的なソリューションを提供し、フェデレートされた設定で訓練されたモデルがラベルシフトターゲットドメインに効果的に一般化できるようにする。

関連論文リスト

• Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
  ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。 FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。 提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
  論文  参考訳（メタデータ） (2024-11-02T13:31:36Z)
• Federated Learning with Label-Masking Distillation [33.80340338038264]
  フェデレーション学習は、複数のローカルクライアントに分散したデータ上でモデルを協調的にトレーニングするための、プライバシ保護の方法を提供する。 クライアントのユーザ動作が異なるため、異なるクライアント間のラベルの分布は著しく異なる。 本稿では,FedLMDと呼ばれるラベルマスキング蒸留手法を提案し,各クライアントのラベル分布を知覚することで,フェデレーション学習を容易にする。
  論文  参考訳（メタデータ） (2024-09-20T00:46:04Z)
• Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
  フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。 ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:22:50Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
  本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。 ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。 より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
  論文  参考訳（メタデータ） (2023-07-08T18:58:08Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Anomaly Detection through Unsupervised Federated Learning [0.0]
  フェデレートラーニングは、分散リソースを活用する上で最も有望なパラダイムの1つであることが証明されています。 本稿では,前処理フェーズを通じて,クライアントをコミュニティにグループ化する手法を提案する。 結果の異常検出モデルは共有され、同じコミュニティのクライアント内の異常を検出するために使用される。
  論文  参考訳（メタデータ） (2022-09-09T08:45:47Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Your Classifier can Secretly Suffice Multi-Source Domain Adaptation [72.47706604261992]
  マルチソースドメイン適応(MSDA)は、複数のラベル付きソースドメインからラベルなしターゲットドメインへのタスク知識の転送を扱う。 ラベル管理下のドメインを暗黙的に整列させる深層モデルが観察されるMSDAに対して、異なる視点を提示する。
  論文  参考訳（メタデータ） (2021-03-20T12:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。