論文の概要: Rethinking Client Drift in Federated Learning: A Logit Perspective
- arxiv url: http://arxiv.org/abs/2308.10162v1
- Date: Sun, 20 Aug 2023 04:41:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 17:17:26.144174
- Title: Rethinking Client Drift in Federated Learning: A Logit Perspective
- Title(参考訳): フェデレートラーニングにおけるクライアントドリフトの再考:ロジット・パースペクティブ
- Authors: Yunlu Yan, Chun-Mei Feng, Mang Ye, Wangmeng Zuo, Ping Li, Rick Siow
Mong Goh, Lei Zhu, C. L. Philip Chen
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
- 参考スコア(独自算出の注目度): 125.35844582366441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) enables multiple clients to collaboratively learn in
a distributed way, allowing for privacy protection. However, the real-world
non-IID data will lead to client drift which degrades the performance of FL.
Interestingly, we find that the difference in logits between the local and
global models increases as the model is continuously updated, thus seriously
deteriorating FL performance. This is mainly due to catastrophic forgetting
caused by data heterogeneity between clients. To alleviate this problem, we
propose a new algorithm, named FedCSD, a Class prototype Similarity
Distillation in a federated framework to align the local and global models.
FedCSD does not simply transfer global knowledge to local clients, as an
undertrained global model cannot provide reliable knowledge, i.e., class
similarity information, and its wrong soft labels will mislead the optimization
of local models. Concretely, FedCSD introduces a class prototype similarity
distillation to align the local logits with the refined global logits that are
weighted by the similarity between local logits and the global prototype. To
enhance the quality of global logits, FedCSD adopts an adaptive mask to filter
out the terrible soft labels of the global models, thereby preventing them to
mislead local optimization. Extensive experiments demonstrate the superiority
of our method over the state-of-the-art federated learning approaches in
various heterogeneous settings. The source code will be released.
- Abstract(参考訳): フェデレーション学習(fl)は、複数のクライアントが分散方法で協調的に学習し、プライバシ保護を可能にする。
しかし、実世界の非IIDデータは、FLの性能を劣化させるクライアントドリフトに繋がる。
興味深いことに、モデルが継続的に更新されるにつれて局所モデルとグローバルモデルとのロジット差が増大し、FL性能が著しく低下する。
これは主に、クライアント間のデータの異質性によって引き起こされる破滅的な忘れが原因である。
この問題を軽減するため,我々は,局所モデルとグローバルモデルを整合させるフェデレーションフレームワークにおける類似度蒸留のクラスプロトタイプであるfecsdという新しいアルゴリズムを提案する。
過度に訓練されたグローバルモデルは信頼できる知識、すなわちクラス類似情報を提供できず、間違ったソフトラベルはローカルモデルの最適化を誤解してしまうため、fecsdは単にグローバル知識をローカルクライアントに転送するわけではない。
具体的には、FedCSDは、局所ロジットと局所ロジットとグローバルプロトタイプとの類似性によって重み付けされた改良されたグローバルロジットとを整合させるために、クラスプロトタイプの類似度蒸留を導入する。
グローバルロジットの品質を高めるため、FedCSDは適応マスクを採用し、グローバルモデルのひどいソフトラベルをフィルタリングし、局所最適化を誤解させるのを防ぐ。
様々な異種環境下での最先端のフェデレーション学習手法よりも,本手法が優れていることを示す。
ソースコードはリリースされます。
関連論文リスト
- Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳(メタデータ) (2023-07-20T00:07:29Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳(メタデータ) (2023-07-17T15:40:45Z) - No One Left Behind: Real-World Federated Class-Incremental Learning [111.77681016996202]
ローカル・グローバル・アンチ・フォーゲッティング(LGA)モデルは、局所的およびグローバルな破滅的な忘れに対処する。
本研究は,カテゴリ均衡型勾配適応型補償損失とカテゴリ勾配誘導型セマンティック蒸留損失を開発する。
ローカルクライアントから収集した新しいカテゴリの摂動型プロトタイプイメージを、自己監督型プロトタイプ拡張を通じて拡張する。
論文 参考訳(メタデータ) (2023-02-02T06:41:02Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳(メタデータ) (2023-01-21T16:20:57Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳(メタデータ) (2022-03-22T14:06:26Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-06T11:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。