論文の概要: Tackling Data Heterogeneity in Federated Learning with Class Prototypes
- arxiv url: http://arxiv.org/abs/2212.02758v2
- Date: Tue, 26 Dec 2023 04:56:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 23:17:15.813722
- Title: Tackling Data Heterogeneity in Federated Learning with Class Prototypes
- Title（参考訳）: クラスプロトタイプを用いたフェデレーション学習におけるデータ不均一性への取り組み
- Authors: Yutong Dai, Zeyuan Chen, Junnan Li, Shelby Heinecke, Lichao Sun, Ran
Xu
- Abstract要約: パーソナライズと一般化の両面において,ローカルモデルの性能を改善する新しい手法であるFedNHを提案する。
クラスセマンティクスを注入することで局所モデルを改善する一方で,一様性を付与することでプロトタイプの崩壊に対処できることを示す。
- 参考スコア（独自算出の注目度）: 44.746340839025194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data heterogeneity across clients in federated learning (FL) settings is a
widely acknowledged challenge. In response, personalized federated learning
(PFL) emerged as a framework to curate local models for clients' tasks. In PFL,
a common strategy is to develop local and global models jointly - the global
model (for generalization) informs the local models, and the local models (for
personalization) are aggregated to update the global model. A key observation
is that if we can improve the generalization ability of local models, then we
can improve the generalization of global models, which in turn builds better
personalized models. In this work, we consider class imbalance, an overlooked
type of data heterogeneity, in the classification setting. We propose FedNH, a
novel method that improves the local models' performance for both
personalization and generalization by combining the uniformity and semantics of
class prototypes. FedNH initially distributes class prototypes uniformly in the
latent space and smoothly infuses the class semantics into class prototypes. We
show that imposing uniformity helps to combat prototype collapse while infusing
class semantics improves local models. Extensive experiments were conducted on
popular classification datasets under the cross-device setting. Our results
demonstrate the effectiveness and stability of our method over recent works.
- Abstract（参考訳）: 連邦学習(FL)設定におけるクライアント間のデータの異質性は広く認められている課題である。
これに対し、パーソナライズド・フェデレーション・ラーニング(PFL)は、クライアントのタスクのローカルモデルをキュレートするフレームワークとして登場した。
PFLでは、グローバルモデル(一般化のための)がローカルモデルに通知し、ローカルモデル(パーソナライズのための)がグローバルモデルを更新するために集約される。
重要な観察は、局所モデルの一般化能力を向上させることができれば、グローバルモデルの一般化を改善し、より良いパーソナライズされたモデルを構築することができるということである。
本研究では,分類設定において見過ごされたデータの不均一性であるクラス不均衡について考察する。
クラスプロトタイプの統一性とセマンティクスを組み合わせることにより,個人化と一般化の両面において,局所モデルの性能を向上させる新しい手法であるFedNHを提案する。
FedNHは当初、潜伏空間でクラスプロトタイプを均一に配布し、クラスセマンティクスをクラスプロトタイプにスムーズに注入した。
クラスセマンティクスを注入して局所モデルを改善することで,プロトタイプの崩壊に対処できることを示す。
クロスデバイス設定下で、一般的な分類データセットで広範な実験が行われた。
その結果,本手法の有効性と安定性が示唆された。
関連論文リスト
- Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。
パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。
我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
論文 参考訳（メタデータ） (2024-11-01T03:03:52Z) - FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。
FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。
本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
論文 参考訳（メタデータ） (2024-04-14T10:23:30Z) - FedLoGe: Joint Local and Generic Federated Learning under Long-tailed
Data [46.29190753993415]
Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。
本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2024-01-17T05:04:33Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Federated and Generalized Person Re-identification through Domain and
Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。
一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。
提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-05T09:15:13Z) - Personalized Federated Learning with Clustered Generalization [16.178571176116073]
学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。
訓練対象におけるPFL法と従来のFL法の主な違い
本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
論文 参考訳（メタデータ） (2021-06-24T14:17:00Z) - Think Locally, Act Globally: Federated Learning with Local and Global
Representations [92.68484710504666]
フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。
本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。
また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
論文 参考訳（メタデータ） (2020-01-06T12:40:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。