論文の概要: Towards Personalized Federated Learning via Comprehensive Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2411.03569v1
- Date: Wed, 06 Nov 2024 00:17:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-07 19:25:00.300127
- Title: Towards Personalized Federated Learning via Comprehensive Knowledge Distillation
- Title（参考訳）: 包括的知識蒸留による個人化フェデレーション学習に向けて
- Authors: Pengju Wang, Bochao Liu, Weijia Guo, Yong Li, Shiming Ge,
- Abstract要約: フェデレートラーニング(Federated Learning)は、データプライバシを保護するために設計された分散機械学習パラダイムである。
様々なクライアント間でのデータの異質性は破滅的な忘れ込みをもたらし、モデルは新しい知識を取得しながら、過去の知識を急速に忘れてしまう。
本稿では,教師としてグローバルモデル,歴史モデル,学生としてローカルモデルを利用する,個人化された個人化学習手法を提案する。
- 参考スコア（独自算出の注目度）: 21.026617948534707
- License:
- Abstract: Federated learning is a distributed machine learning paradigm designed to protect data privacy. However, data heterogeneity across various clients results in catastrophic forgetting, where the model rapidly forgets previous knowledge while acquiring new knowledge. To address this challenge, personalized federated learning has emerged to customize a personalized model for each client. However, the inherent limitation of this mechanism is its excessive focus on personalization, potentially hindering the generalization of those models. In this paper, we present a novel personalized federated learning method that uses global and historical models as teachers and the local model as the student to facilitate comprehensive knowledge distillation. The historical model represents the local model from the last round of client training, containing historical personalized knowledge, while the global model represents the aggregated model from the last round of server aggregation, containing global generalized knowledge. By applying knowledge distillation, we effectively transfer global generalized knowledge and historical personalized knowledge to the local model, thus mitigating catastrophic forgetting and enhancing the general performance of personalized models. Extensive experimental results demonstrate the significant advantages of our method.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、データプライバシを保護するために設計された分散機械学習パラダイムである。
しかし、様々なクライアント間でのデータの異質性は破滅的な忘れ込みをもたらし、モデルは新しい知識を取得しながら、過去の知識を急速に忘れてしまう。
この課題に対処するため、各クライアント用にパーソナライズされたモデルをカスタマイズするために、パーソナライズされたフェデレーション学習が登場した。
しかし、このメカニズムの本質的な制限は、パーソナライゼーションに過度に焦点をあてることであり、これらのモデルの一般化を妨げる可能性がある。
本稿では,教師としてグローバルモデル,歴史モデル,学生としてローカルモデルを用いて,包括的知識蒸留を促進する新たな個人化学習手法を提案する。
履歴モデルは、過去のパーソナライズされた知識を含むクライアントトレーニングの最終ラウンドのローカルモデルを表す一方、グローバルモデルは、グローバルに一般化された知識を含むサーバアグリゲーションの最終ラウンドの集約モデルを表す。
知識蒸留を適用することにより,グローバルな一般化された知識と歴史的パーソナライズされた知識を地域モデルに効果的に伝達し,パーソナライズされたモデルの一般的な性能を低下させる。
大規模な実験結果から,本手法の有意な利点が示された。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Dirichlet-based Uncertainty Quantification for Personalized Federated
Learning with Improved Posterior Networks [9.54563359677778]
本稿では,グローバルおよびパーソナライズされたモデルの中からモデルを選択可能なフェデレーション学習への新たなアプローチを提案する。
これは、局所的およびグローバルな分布内および分布外データを検出するのに役立つ予測不確実性の慎重なモデリングによって達成される。
一般的な実世界の画像データセットに対する総合的な実験的評価は、アウト・オブ・ディストリビューション・データの存在下でのモデルの優れた性能を示している。
論文 参考訳（メタデータ） (2023-12-18T14:30:05Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳（メタデータ） (2023-04-04T12:04:19Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳（メタデータ） (2022-02-10T20:44:44Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-11-17T19:40:07Z) - Decentralised Person Re-Identification with Selective Knowledge
Aggregation [56.40855978874077]
既存の人物再識別(Re-ID)手法は、主に、モデル学習のためのコレクションにすべてのトレーニングデータを共有する集中型学習パラダイムに従っている。
グローバルに一般化されたモデル(サーバ)を構築するための分散(フェデレーション)Re-ID学習を導入した最近の2つの作品がある。
しかし、これらの手法は、個々のクライアントドメインのRe-IDタスクのパフォーマンスを最大化するために一般化されたモデルを適用する方法に乏しい。
我々は、モデルパーソナライゼーションと一般化のトレードオフを最適化するために、分散化されたRe-IDに対して、新しい選択的知識集約アプローチを提案する。
論文 参考訳（メタデータ） (2021-10-21T18:09:53Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Specialized federated learning using a mixture of experts [0.6974741712647655]
連合学習では、クライアントは分散化されたローカルクライアントデータに基づいてトレーニングされたグローバルモデルを共有する。
フェデレートされた設定で各クライアントのパーソナライズされたモデルを学習するための代替手法を提案する。
以上の結果から,これらの設定におけるデバイスに対するパーソナライズされたモデルとして,エキスパートモデルの混合が適していることが明らかとなった。
論文 参考訳（メタデータ） (2020-10-05T14:43:57Z) - Survey of Personalization Techniques for Federated Learning [0.08594140167290096]
フェデレートされた機械学習は、プライバシを損なうことなく、プライベートな分散データから機械学習モデルを学習することを可能にする。
本稿では、パーソナライズの必要性を強調し、このトピックに関する最近の研究について調査する。
論文 参考訳（メタデータ） (2020-03-19T10:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。