論文の概要: Overcoming label shift with target-aware federated learning
- arxiv url: http://arxiv.org/abs/2411.03799v2
- Date: Tue, 26 Aug 2025 10:07:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-27 15:23:52.211812
- Title: Overcoming label shift with target-aware federated learning
- Title(参考訳): 目標認識型フェデレーション学習によるラベルシフトの克服
- Authors: Edvin Listo Zec, Adam Breitholtz, Fredrik D. Johansson,
- Abstract要約: フェデレートラーニングにより、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングできる。
一般的な理由はラベルシフトです -- ラベルの分布がクライアントとターゲットドメインによって異なります。
対象領域の性能向上のためにラベルシフトに適応する,原則的で実用的なモデルアグリゲーションスキームであるFedPALSを提案する。
- 参考スコア(独自算出の注目度): 10.355835466049092
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning enables multiple actors to collaboratively train models without sharing private data. Existing algorithms are successful and well-justified in this task when the intended target domain, where the trained model will be used, shares data distribution with the aggregate of clients, but this is often violated in practice. A common reason is label shift -- that the label distributions differ between clients and the target domain. We demonstrate empirically that this can significantly degrade performance. To address this problem, we propose FedPALS, a principled and practical model aggregation scheme that adapts to label shifts to improve performance in the target domain by leveraging knowledge of label distributions at the central server. Our approach ensures unbiased updates under federated stochastic gradient descent which yields robust generalization across clients with diverse, label-shifted data. Extensive experiments on image classification tasks demonstrate that FedPALS consistently outperforms baselines by aligning model aggregation with the target domain. Our findings reveal that conventional federated learning methods suffer severely in cases of extreme label sparsity on clients, highlighting the critical need for target-aware aggregation as offered by FedPALS.
- Abstract(参考訳): フェデレーション学習は、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。
既存のアルゴリズムは、トレーニングされたモデルが使用される予定のターゲットドメインがクライアントの集約とデータ分散を共有する場合、このタスクで成功し、適切に調整される。
一般的な理由はラベルシフトです -- ラベルの分布がクライアントとターゲットドメインによって異なります。
これは性能を著しく低下させる可能性があることを実証的に示す。
この問題に対処するため,本研究では,中心サーバにおけるラベル分布の知識を活用して,ラベルシフトに適応し,対象領域の性能を向上させるための,原則的で実用的なモデルアグリゲーション手法であるFedPALSを提案する。
当社のアプローチは,多種多様なラベルシフトデータを持つクライアント間で堅牢な一般化をもたらす,連合確率勾配勾配下での偏りのない更新を保証する。
画像分類タスクに関する大規模な実験により、FedPALSはモデルアグリゲーションを対象領域と整合させることで、ベースラインを一貫して上回ることを示した。
この結果,従来のフェデレーション学習手法は,クライアントに極度にラベルが分散している場合に重篤な障害を負っており,FedPALSが提供するターゲット認識アグリゲーションに対する重要なニーズが浮き彫りになっていることが明らかとなった。
関連論文リスト
- Whispers of Data: Unveiling Label Distributions in Federated Learning Through Virtual Client Simulation [4.81392127803963]
Federated Learningは、データ共有を必要とせずに、地理的に分散した複数のクライアントにわたるグローバルモデルの協調トレーニングを可能にする。
推論攻撃、特にラベル推論攻撃の影響を受けやすい。
本稿では,様々なシナリオに対して安定かつ適応可能な新しいラベル分布推定攻撃を提案する。
論文 参考訳(メタデータ) (2025-04-30T08:51:06Z) - Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。
FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。
提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
論文 参考訳(メタデータ) (2024-11-02T13:31:36Z) - Federated Learning with Label-Masking Distillation [33.80340338038264]
フェデレーション学習は、複数のローカルクライアントに分散したデータ上でモデルを協調的にトレーニングするための、プライバシ保護の方法を提供する。
クライアントのユーザ動作が異なるため、異なるクライアント間のラベルの分布は著しく異なる。
本稿では,FedLMDと呼ばれるラベルマスキング蒸留手法を提案し,各クライアントのラベル分布を知覚することで,フェデレーション学習を容易にする。
論文 参考訳(メタデータ) (2024-09-20T00:46:04Z) - Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。
本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。
ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文 参考訳(メタデータ) (2024-04-24T02:22:50Z) - FedAnchor: Enhancing Federated Semi-Supervised Learning with Label
Contrastive Loss for Unlabeled Clients [19.3885479917635]
Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。
本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。
提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
論文 参考訳(メタデータ) (2024-02-15T18:48:21Z) - Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。
ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。
より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
論文 参考訳(メタデータ) (2023-07-08T18:58:08Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳(メタデータ) (2022-09-21T17:37:54Z) - Anomaly Detection through Unsupervised Federated Learning [0.0]
フェデレートラーニングは、分散リソースを活用する上で最も有望なパラダイムの1つであることが証明されています。
本稿では,前処理フェーズを通じて,クライアントをコミュニティにグループ化する手法を提案する。
結果の異常検出モデルは共有され、同じコミュニティのクライアント内の異常を検出するために使用される。
論文 参考訳(メタデータ) (2022-09-09T08:45:47Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - Instance Level Affinity-Based Transfer for Unsupervised Domain
Adaptation [74.71931918541748]
ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。
まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。
ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
論文 参考訳(メタデータ) (2021-04-03T01:33:14Z) - Your Classifier can Secretly Suffice Multi-Source Domain Adaptation [72.47706604261992]
マルチソースドメイン適応(MSDA)は、複数のラベル付きソースドメインからラベルなしターゲットドメインへのタスク知識の転送を扱う。
ラベル管理下のドメインを暗黙的に整列させる深層モデルが観察されるMSDAに対して、異なる視点を提示する。
論文 参考訳(メタデータ) (2021-03-20T12:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。