論文の概要: The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2301.08968v1
- Date: Sat, 21 Jan 2023 16:20:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 15:30:53.981585
- Title: The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation
- Title（参考訳）: 両世界のベスト:データフリー・ハイパー知識蒸留による連合学習による正確なグローバルモデルとパーソナライズモデル
- Authors: Huancheng Chen, Johnny (Chaining) Wang, Haris Vikalo
- Abstract要約: FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
- 参考スコア（独自算出の注目度）: 17.570719572024608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneity of data distributed across clients limits the performance of
global models trained through federated learning, especially in the settings
with highly imbalanced class distributions of local datasets. In recent years,
personalized federated learning (pFL) has emerged as a potential solution to
the challenges presented by heterogeneous data. However, existing pFL methods
typically enhance performance of local models at the expense of the global
model's accuracy. We propose FedHKD (Federated Hyper-Knowledge Distillation), a
novel FL algorithm in which clients rely on knowledge distillation (KD) to
train local models. In particular, each client extracts and sends to the server
the means of local data representations and the corresponding soft predictions
-- information that we refer to as ``hyper-knowledge". The server aggregates
this information and broadcasts it to the clients in support of local training.
Notably, unlike other KD-based pFL methods, FedHKD does not rely on a public
dataset nor it deploys a generative model at the server. We analyze convergence
of FedHKD and conduct extensive experiments on visual datasets in a variety of
scenarios, demonstrating that FedHKD provides significant improvement in both
personalized as well as global model performance compared to state-of-the-art
FL methods designed for heterogeneous data settings.
- Abstract（参考訳）: クライアント間で分散するデータの多様性は、フェデレーション学習を通じてトレーニングされたグローバルモデルのパフォーマンスを制限する。
近年、異種データによる課題に対する潜在的な解決策としてパーソナライズド・フェデレーション・ラーニング(pFL)が出現している。
しかし、既存のpFL法は、グローバルモデルの精度を犠牲にして、ローカルモデルの性能を高めるのが一般的である。
我々は,クライアントがローカルモデルの学習に知識蒸留(kd)に依存する新しいflアルゴリズムであるfeedhkd(federated hyper-knowledge distillation)を提案する。
特に、各クライアントはローカルなデータ表現とそれに対応するソフトな予測の手段をサーバに抽出して送信します。
サーバはこの情報を集約し、ローカルトレーニングをサポートするためにクライアントにブロードキャストする。
特に、他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
本研究では,fedhkdの収束を解析し,様々なシナリオで視覚的データセットに関する広範囲な実験を行い,異種データ設定用に設計された最新fl手法と比較して,feedhkdがパーソナライズとグローバルモデル性能の両方において有意な改善をもたらすことを示した。
関連論文リスト
- Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。
フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。
我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-24T03:59:32Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - DFRD: Data-Free Robustness Distillation for Heterogeneous Federated
Learning [20.135235291912185]
Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。
本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
論文 参考訳（メタデータ） (2023-09-24T04:29:22Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Personalized Federated Learning with Hidden Information on Personalized
Prior [18.8426865970643]
本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。
実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-19T12:45:19Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。