論文の概要: FedD2S: Personalized Data-Free Federated Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2402.10846v1
- Date: Fri, 16 Feb 2024 17:36:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 14:49:38.879078
- Title: FedD2S: Personalized Data-Free Federated Knowledge Distillation
- Title(参考訳): FedD2S: 個人化データフリーフェデレーション知識蒸留
- Authors: Kawa Atapour, S. Jamal Seyedmohammadi, Jamshid Abouei, Arash
Mohammadi, Konstantinos N. Plataniotis
- Abstract要約: 本稿では,知識蒸留を活用した個人化フェデレートラーニング(pFL)のためのFedD2Sという新しい手法を提案する。
FedD2Sは、データフリーな知識蒸留プロセスにディープ・ツー・シャロー・レイヤ・ドロップング機構を組み込んで、局所モデルパーソナライズを強化している。
提案手法は,クライアント間の収束の高速化と公平性の向上を特徴とする,優れた性能を示す。
- 参考スコア(独自算出の注目度): 19.975420988169454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the challenge of mitigating data heterogeneity among
clients within a Federated Learning (FL) framework. The model-drift issue,
arising from the noniid nature of client data, often results in suboptimal
personalization of a global model compared to locally trained models for each
client. To tackle this challenge, we propose a novel approach named FedD2S for
Personalized Federated Learning (pFL), leveraging knowledge distillation.
FedD2S incorporates a deep-to-shallow layer-dropping mechanism in the data-free
knowledge distillation process to enhance local model personalization. Through
extensive simulations on diverse image datasets-FEMNIST, CIFAR10, CINIC0, and
CIFAR100-we compare FedD2S with state-of-the-art FL baselines. The proposed
approach demonstrates superior performance, characterized by accelerated
convergence and improved fairness among clients. The introduced layer-dropping
technique effectively captures personalized knowledge, resulting in enhanced
performance compared to alternative FL models. Moreover, we investigate the
impact of key hyperparameters, such as the participation ratio and
layer-dropping rate, providing valuable insights into the optimal configuration
for FedD2S. The findings demonstrate the efficacy of adaptive layer-dropping in
the knowledge distillation process to achieve enhanced personalization and
performance across diverse datasets and tasks.
- Abstract(参考訳): 本稿では,フェデレートラーニング(FL)フレームワークにおけるクライアント間のデータの均一性を緩和する課題について論じる。
モデルドリフト問題は、クライアントデータの非流動性から生じるものであり、各クライアントの局所的に訓練されたモデルと比較して、大域的なモデルの最適なパーソナライゼーションをもたらすことが多い。
この課題に対処するために,知識蒸留を活用した個人化フェデレートラーニング(pFL)のためのFedD2Sという新しいアプローチを提案する。
fedd2sは、ローカルモデルのパーソナライズを強化するために、データフリーな知識蒸留プロセスにディープ・トゥ・シュロー・レイヤー・ドロップ機構を組み込んでいる。
FEMNIST、CIFAR10、CINIC0、CIFAR100といった多様な画像データセットに関する広範なシミュレーションを通じて、FedD2Sを最先端のFLベースラインと比較した。
提案手法は,クライアント間の収束の促進と公平性の向上を特徴とする,優れた性能を示す。
導入したレイヤドロップング技術は、パーソナライズされた知識を効果的に取り込み、代替のflモデルと比較してパフォーマンスが向上する。
さらに,fed2の最適構成に関する貴重な知見を提供するため,参加率や層投下率などの超パラメータが与える影響について検討した。
本研究は,多様なデータセットとタスクにわたるパーソナライズと性能の向上を実現するため,知識蒸留プロセスにおける適応層投下の有効性を示す。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - DiffsFormer: A Diffusion Transformer on Stock Factor Augmentation [36.75453713794983]
トランスフォーマーアーキテクチャを用いたストックファクタ生成のための拡散モデル(DiffsFormer)を提案する。
特定の下流タスクを提示すると、既存のサンプルを編集してトレーニング手順を強化するためにDiffsFormerを使用します。
提案手法は,各データセットの年次リターン率の7.2%と27.8%を相対的に改善する。
論文 参考訳(メタデータ) (2024-02-05T03:54:36Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳(メタデータ) (2023-11-15T11:11:25Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳(メタデータ) (2023-11-14T19:10:56Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - WAFFLE: Weighted Averaging for Personalized Federated Learning [38.241216472571786]
WAFFLEは、SCAFFOLDに基づくパーソナライズされた協調機械学習アルゴリズムである。
WAFFLEは、クライアントのアップデート間のユークリッド距離を使用して、個々のコントリビューションを計測する。
本実験では, WAFFLE の有効性を他の方法と比較した。
論文 参考訳(メタデータ) (2021-10-13T18:40:54Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - Performance Optimization for Federated Person Re-identification via
Benchmark Analysis [25.9422385039648]
フェデレーション学習(Federated Learning)は、分散型クライアント間で共有モデルを学習する、プライバシ保護機械学習技術である。
本研究では,人間再同定(FedReID)にフェデレート学習を実装し,実世界のシナリオにおけるその性能を最適化する。
論文 参考訳(メタデータ) (2020-08-26T13:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。