論文の概要: FedD2S: Personalized Data-Free Federated Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2402.10846v1
• Date: Fri, 16 Feb 2024 17:36:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 14:49:38.879078
• Title: FedD2S: Personalized Data-Free Federated Knowledge Distillation
• Title（参考訳）: FedD2S: 個人化データフリーフェデレーション知識蒸留
• Authors: Kawa Atapour, S. Jamal Seyedmohammadi, Jamshid Abouei, Arash Mohammadi, Konstantinos N. Plataniotis
• Abstract要約: 本稿では,知識蒸留を活用した個人化フェデレートラーニング(pFL)のためのFedD2Sという新しい手法を提案する。 FedD2Sは、データフリーな知識蒸留プロセスにディープ・ツー・シャロー・レイヤ・ドロップング機構を組み込んで、局所モデルパーソナライズを強化している。 提案手法は,クライアント間の収束の高速化と公平性の向上を特徴とする,優れた性能を示す。
• 参考スコア（独自算出の注目度）: 19.975420988169454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the challenge of mitigating data heterogeneity among clients within a Federated Learning (FL) framework. The model-drift issue, arising from the noniid nature of client data, often results in suboptimal personalization of a global model compared to locally trained models for each client. To tackle this challenge, we propose a novel approach named FedD2S for Personalized Federated Learning (pFL), leveraging knowledge distillation. FedD2S incorporates a deep-to-shallow layer-dropping mechanism in the data-free knowledge distillation process to enhance local model personalization. Through extensive simulations on diverse image datasets-FEMNIST, CIFAR10, CINIC0, and CIFAR100-we compare FedD2S with state-of-the-art FL baselines. The proposed approach demonstrates superior performance, characterized by accelerated convergence and improved fairness among clients. The introduced layer-dropping technique effectively captures personalized knowledge, resulting in enhanced performance compared to alternative FL models. Moreover, we investigate the impact of key hyperparameters, such as the participation ratio and layer-dropping rate, providing valuable insights into the optimal configuration for FedD2S. The findings demonstrate the efficacy of adaptive layer-dropping in the knowledge distillation process to achieve enhanced personalization and performance across diverse datasets and tasks.
• Abstract（参考訳）: 本稿では,フェデレートラーニング(FL)フレームワークにおけるクライアント間のデータの均一性を緩和する課題について論じる。 モデルドリフト問題は、クライアントデータの非流動性から生じるものであり、各クライアントの局所的に訓練されたモデルと比較して、大域的なモデルの最適なパーソナライゼーションをもたらすことが多い。 この課題に対処するために,知識蒸留を活用した個人化フェデレートラーニング(pFL)のためのFedD2Sという新しいアプローチを提案する。 fedd2sは、ローカルモデルのパーソナライズを強化するために、データフリーな知識蒸留プロセスにディープ・トゥ・シュロー・レイヤー・ドロップ機構を組み込んでいる。 FEMNIST、CIFAR10、CINIC0、CIFAR100といった多様な画像データセットに関する広範なシミュレーションを通じて、FedD2Sを最先端のFLベースラインと比較した。 提案手法は,クライアント間の収束の促進と公平性の向上を特徴とする,優れた性能を示す。 導入したレイヤドロップング技術は、パーソナライズされた知識を効果的に取り込み、代替のflモデルと比較してパフォーマンスが向上する。 さらに,fed2の最適構成に関する貴重な知見を提供するため,参加率や層投下率などの超パラメータが与える影響について検討した。 本研究は,多様なデータセットとタスクにわたるパーソナライズと性能の向上を実現するため,知識蒸留プロセスにおける適応層投下の有効性を示す。

関連論文リスト

• Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
  産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。 フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。 我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:59:32Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
  フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。 FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。 我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
  論文  参考訳（メタデータ） (2024-05-13T16:57:48Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• WAFFLE: Weighted Averaging for Personalized Federated Learning [38.241216472571786]
  WAFFLEは、SCAFFOLDに基づくパーソナライズされた協調機械学習アルゴリズムである。 WAFFLEは、クライアントのアップデート間のユークリッド距離を使用して、個々のコントリビューションを計測する。 本実験では, WAFFLE の有効性を他の方法と比較した。
  論文  参考訳（メタデータ） (2021-10-13T18:40:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。