論文の概要: DFRD: Data-Free Robustness Distillation for Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2309.13546v1
• Date: Sun, 24 Sep 2023 04:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 19:14:03.625286
• Title: DFRD: Data-Free Robustness Distillation for Heterogeneous Federated Learning
• Title（参考訳）: DFRD:不均一なフェデレーション学習のためのデータ自由ロバストネス蒸留
• Authors: Kangyang Luo, Shuai Wang, Yexuan Fu, Xiang Li, Yunshi Lan, Ming Gao
• Abstract要約: Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。 本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
• 参考スコア（独自算出の注目度）: 20.135235291912185
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Learning (FL) is a privacy-constrained decentralized machine learning paradigm in which clients enable collaborative training without compromising private data. However, how to learn a robust global model in the data-heterogeneous and model-heterogeneous FL scenarios is challenging. To address it, we resort to data-free knowledge distillation to propose a new FL method (namely DFRD). DFRD equips a conditional generator on the server to approximate the training space of the local models uploaded by clients, and systematically investigates its training in terms of fidelity, transferability} and diversity. To overcome the catastrophic forgetting of the global model caused by the distribution shifts of the generator across communication rounds, we maintain an exponential moving average copy of the generator on the server. Additionally, we propose dynamic weighting and label sampling to accurately extract knowledge from local models. Finally, our extensive experiments on various image classification tasks illustrate that DFRD achieves significant performance gains compared to SOTA baselines.
• Abstract（参考訳）: Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムで、クライアントがプライベートデータを妥協することなく協調トレーニングを可能にする。 しかし,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルをいかに学習するかは難しい。 そこで本研究では,データフリーな知識蒸留を用いて新たなFL法(DFRD)を提案する。 DFRDはサーバに条件付きジェネレータを装備し、クライアントがアップロードしたローカルモデルのトレーニングスペースを近似し、そのトレーニングを忠実さ、転送可能性、多様性の観点から体系的に調査する。 通信ラウンド間のジェネレータの分散シフトによるグローバルモデルの破滅的な忘れを克服するために,ジェネレータの指数関数的移動平均コピーをサーバに保持する。 さらに,局所モデルから正確な知識を抽出するための動的重み付けとラベルサンプリングを提案する。 最後に、様々な画像分類タスクに関する広範な実験により、DFRDはSOTAベースラインと比較して大きな性能向上を達成できることを示した。

関連論文リスト

• DFDG: Data-Free Dual-Generator Adversarial Distillation for One-Shot Federated Learning [17.34783038347845]
  Federated Learning(FL)は、クライアントがグローバルモデルの協調トレーニングに共同で参加する分散機械学習スキームである。 単発FLのための新しいデータフリー二重発生器逆蒸留法(DFDG)を提案する。 DFDGは対角的に実行され、二重生成子訓練と二重モデル蒸留の2つの部分からなる。
  論文  参考訳（メタデータ） (2024-09-12T03:44:30Z)
• FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。 我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。 我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
  論文  参考訳（メタデータ） (2024-05-27T15:25:32Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Data-Free Knowledge Distillation for Heterogeneous Federated Learning [31.364314540525218]
  Federated Learning(FL)は、グローバルサーバがデータにアクセスせずに、ローカルユーザのモデルパラメータを反復的に平均する分散機械学習パラダイムである。 知識蒸留(Knowledge Distillation)は、異種ユーザからの集約された知識を使用してサーバモデルを精錬することによって、この問題に対処するために最近登場した。 異種FLに対処するデータフリーな知識蒸留手法を提案し,サーバはユーザ情報をデータフリーでアンサンブルするための軽量なジェネレータを学習する。
  論文  参考訳（メタデータ） (2021-05-20T22:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。