論文の概要: Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning
- arxiv url: http://arxiv.org/abs/2106.03097v1
- Date: Sun, 6 Jun 2021 11:51:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-13 19:14:11.772427
- Title: Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning
- Title（参考訳）: 連合学習における非真の自己知識蒸留によるグローバル知識の保存
- Authors: Gihun Lee, Yongjin Shin, Minchan Jeong, Se-Young Yun
- Abstract要約: フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 8.474470736998136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Learning (FL), a strong global model is collaboratively learned
by aggregating the clients' locally trained models. Although this allows no
need to access clients' data directly, the global model's convergence often
suffers from data heterogeneity. This paper suggests that forgetting could be
the bottleneck of global convergence. We observe that fitting on biased local
distribution shifts the feature on global distribution and results in
forgetting of global knowledge. We consider this phenomenon as an analogy to
Continual Learning, which also faces catastrophic forgetting when fitted on the
new task distribution. Based on our findings, we hypothesize that tackling down
the forgetting in local training relives the data heterogeneity problem. To
this end, we propose a simple yet effective framework Federated Local
Self-Distillation (FedLSD), which utilizes the global knowledge on locally
available data. By following the global perspective on local data, FedLSD
encourages the learned features to preserve global knowledge and have
consistent views across local models, thus improving convergence without
compromising data privacy. Under our framework, we further extend FedLSD to
FedLS-NTD, which only considers the not-true class signals to compensate noisy
prediction of the global model. We validate that both FedLSD and FedLS-NTD
significantly improve the performance in standard FL benchmarks in various
setups, especially in the extreme data heterogeneity cases.
- Abstract（参考訳）: フェデレーション学習(fl)では、クライアントのローカルトレーニングされたモデルを集約することで、強力なグローバルモデルが協調的に学習される。
これにより、クライアントのデータに直接アクセスする必要がないが、グローバルモデルの収束はしばしばデータの不均一性に苦しむ。
本論文は, 忘れがグローバル収束のボトルネックとなる可能性を示唆する。
偏りのある局所分布への適合は、グローバル分布の特徴をシフトさせ、グローバルな知識を忘れることになる。
我々は,この現象を連続学習の類推とみなし,新たなタスク分布に合わせると破滅的な忘れ目が生じる。
この結果から, 局所訓練における忘れを解くことは, データの不均一性の問題に頼っていると仮定した。
そこで本研究では,ローカルデータに対するグローバルな知識を活用した,シンプルで効果的なフェデレーションローカル自己蒸留(FedLSD)を提案する。
ローカルデータに対するグローバルな視点に従うことで、federsdは学習した機能をグローバル知識の保存と、ローカルモデル間の一貫性のあるビューを持つことを奨励し、データのプライバシを損なうことなく収束性を改善する。
我々は、FedLSDをFedLS-NTDに拡張し、非真のクラス信号のみを考慮し、グローバルモデルのノイズ予測を補う。
我々は,FedLSDとFedLS-NTDの両者が,様々な設定において標準FLベンチマークの性能を著しく向上することを確認した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。
FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。
本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
論文 参考訳（メタデータ） (2024-04-14T10:23:30Z) - FedSOL: Stabilized Orthogonal Learning with Proximal Restrictions in Federated Learning [27.28589196972422]
フェデレートラーニング(FL)は、個々のクライアントからローカルに訓練されたモデルを集約し、グローバルモデルを構築する。
FLは、クライアントが不均一なデータ分散を持つ場合、大きなパフォーマンス劣化に悩まされることが多い。
本稿では,地域学習とグローバル学習のバランスをとる新しい手法であるFederated Stabilized Orthogonal Learning (FedSOL)を提案する。
論文 参考訳（メタデータ） (2023-08-24T03:43:02Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Heterogeneous Federated Knowledge Graph Embedding Learning and
Unlearning [14.063276595895049]
Federated Learning(FL)は、生データを共有せずに分散クライアント間でグローバル機械学習モデルをトレーニングするパラダイムである。
ヘテロジニアスなKG埋め込み学習とアンラーニングのための新しいFLフレームワークであるFedLUを提案する。
我々は,FedLUがリンク予測と知識忘れの両方において優れた結果を得ることを示す。
論文 参考訳（メタデータ） (2023-02-04T02:44:48Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳（メタデータ） (2023-01-21T16:20:57Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。