論文の概要: FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2201.03169v4
• Date: Tue, 01 Oct 2024 04:34:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:32:05.723159
• Title: FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks
• Title（参考訳）: FedDTG:3プレイヤー生成対向ネットワークによるデータフリーな知識蒸留
• Authors: Lingzhi Gao, Zhenyuan Zhang, Chao Wu,
• Abstract要約: データフリー相互蒸留を実現するために,分散3プレーヤ生成適応ネットワーク(GAN)を導入する。 ベンチマークデータセットの可視化実験により,本手法は一般化の観点から,他のフェデレーション蒸留アルゴリズムよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.1693122614074785
• License:
• Abstract: While existing federated learning approaches primarily focus on aggregating local models to construct a global model, in realistic settings, some clients may be reluctant to share their private models due to the inclusion of privacy-sensitive information. Knowledge distillation, which can extract model knowledge without accessing model parameters, is well-suited for this federated scenario. However, most distillation methods in federated learning (federated distillation) require a proxy dataset, which is difficult to obtain in the real world. Therefore, in this paper, we introduce a distributed three-player Generative Adversarial Network (GAN) to implement data-free mutual distillation and propose an effective method called FedDTG. We confirmed that the fake samples generated by GAN can make federated distillation more efficient and robust. Additionally, the distillation process between clients can deliver good individual client performance while simultaneously acquiring global knowledge and protecting data privacy. Our extensive experiments on benchmark vision datasets demonstrate that our method outperforms other federated distillation algorithms in terms of generalization.
• Abstract（参考訳）: 既存のフェデレーション学習アプローチは、主にグローバルモデルを構築するためにローカルモデルを集約することに焦点を当てているが、現実的な設定では、プライバシーに敏感な情報が含まれているため、一部のクライアントはプライベートモデルを共有することに消極的である。 モデルパラメータにアクセスせずにモデル知識を抽出できる知識蒸留は、この連合シナリオに適している。 しかし、フェデレートドラーニング(フェデレーションドラーニング)におけるほとんどの蒸留法はプロキシデータセットを必要とするため、現実世界では入手が困難である。 そこで本稿では,データフリー相互蒸留を実現するために,分散3プレーヤ生成適応ネットワーク(GAN)を導入し,FedDTGと呼ばれる有効手法を提案する。 GANによって生成された偽のサンプルは, より効率的で堅牢な蒸留を実現できることを確認した。 さらに、クライアント間の蒸留プロセスは、グローバル知識とデータのプライバシ保護を同時に獲得しながら、優れた個々のクライアントパフォーマンスを提供することができる。 ベンチマークビジョンデータセットに関する広範な実験により,本手法は一般化の観点から他のフェデレーション蒸留アルゴリズムよりも優れていることが示された。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Federated Learning Empowered by Generative Content [55.576885852501775]
  フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
  論文  参考訳（メタデータ） (2023-12-10T07:38:56Z)
• Unlocking the Potential of Federated Learning: The Symphony of Dataset Distillation via Deep Generative Latents [43.282328554697564]
  本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。 従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。 我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
  論文  参考訳（メタデータ） (2023-12-03T23:30:48Z)
• Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
  我々は,FedND:Federated Learning with noise distillationを提案する。 クライアントでは,局所モデルを学習するための自己蒸留法を提案する。 サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。 実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
  論文  参考訳（メタデータ） (2023-06-26T06:14:01Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Adaptive Distillation for Decentralized Learning from Heterogeneous Clients [9.261720698142097]
  適応蒸留(DLAD)を用いた分散学習という新しい分散学習手法を提案する。 提案するDLADは, 所定の蒸留試料に高い信頼性を有するクライアントモデルを適応的に強調しながら, クライアントモデルの出力を集約する。 提案手法の有効性を実証するため,複数の公開データセットに対する広範囲な実験的評価を行った。
  論文  参考訳（メタデータ） (2020-08-18T14:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。