論文の概要: The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2301.08968v1
- Date: Sat, 21 Jan 2023 16:20:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 15:30:53.981585
- Title: The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation
- Title(参考訳): 両世界のベスト:データフリー・ハイパー知識蒸留による連合学習による正確なグローバルモデルとパーソナライズモデル
- Authors: Huancheng Chen, Johnny (Chaining) Wang, Haris Vikalo
- Abstract要約: FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
- 参考スコア(独自算出の注目度): 17.570719572024608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneity of data distributed across clients limits the performance of
global models trained through federated learning, especially in the settings
with highly imbalanced class distributions of local datasets. In recent years,
personalized federated learning (pFL) has emerged as a potential solution to
the challenges presented by heterogeneous data. However, existing pFL methods
typically enhance performance of local models at the expense of the global
model's accuracy. We propose FedHKD (Federated Hyper-Knowledge Distillation), a
novel FL algorithm in which clients rely on knowledge distillation (KD) to
train local models. In particular, each client extracts and sends to the server
the means of local data representations and the corresponding soft predictions
-- information that we refer to as ``hyper-knowledge". The server aggregates
this information and broadcasts it to the clients in support of local training.
Notably, unlike other KD-based pFL methods, FedHKD does not rely on a public
dataset nor it deploys a generative model at the server. We analyze convergence
of FedHKD and conduct extensive experiments on visual datasets in a variety of
scenarios, demonstrating that FedHKD provides significant improvement in both
personalized as well as global model performance compared to state-of-the-art
FL methods designed for heterogeneous data settings.
- Abstract(参考訳): クライアント間で分散するデータの多様性は、フェデレーション学習を通じてトレーニングされたグローバルモデルのパフォーマンスを制限する。
近年、異種データによる課題に対する潜在的な解決策としてパーソナライズド・フェデレーション・ラーニング(pFL)が出現している。
しかし、既存のpFL法は、グローバルモデルの精度を犠牲にして、ローカルモデルの性能を高めるのが一般的である。
我々は,クライアントがローカルモデルの学習に知識蒸留(kd)に依存する新しいflアルゴリズムであるfeedhkd(federated hyper-knowledge distillation)を提案する。
特に、各クライアントはローカルなデータ表現とそれに対応するソフトな予測の手段をサーバに抽出して送信します。
サーバはこの情報を集約し、ローカルトレーニングをサポートするためにクライアントにブロードキャストする。
特に、他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
本研究では,fedhkdの収束を解析し,様々なシナリオで視覚的データセットに関する広範囲な実験を行い,異種データ設定用に設計された最新fl手法と比較して,feedhkdがパーソナライズとグローバルモデル性能の両方において有意な改善をもたらすことを示した。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - DFRD: Data-Free Robustness Distillation for Heterogeneous Federated
Learning [20.135235291912185]
Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。
本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
論文 参考訳(メタデータ) (2023-09-24T04:29:22Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。
疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。
我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文 参考訳(メタデータ) (2023-05-04T12:21:34Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳(メタデータ) (2023-03-15T15:02:15Z) - Personalized Federated Learning with Hidden Information on Personalized
Prior [18.8426865970643]
本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。
実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-11-19T12:45:19Z) - Handling Data Heterogeneity in Federated Learning via Knowledge
Distillation and Fusion [20.150635780778384]
フェデレートラーニング(FL)は、中央サーバの助けを借りて、複数のデバイスにまたがるグローバル機械学習モデルの分散トレーニングをサポートする。
この問題に対処するため,我々はグローバルな知識融合方式でフェデレーション学習を設計する。
FedKFの主なアイデアは、サーバがグローバルな知識を返却して、各トレーニングラウンドにおけるローカルな知識と融合させることである。
論文 参考訳(メタデータ) (2022-07-23T07:20:22Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。