論文の概要: FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2201.03169v4
• Date: Tue, 01 Oct 2024 04:34:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:32:05.723159
• Title: FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks
• Title（参考訳）: FedDTG:3プレイヤー生成対向ネットワークによるデータフリーな知識蒸留
• Authors: Lingzhi Gao, Zhenyuan Zhang, Chao Wu,
• Abstract要約: データフリー相互蒸留を実現するために,分散3プレーヤ生成適応ネットワーク(GAN)を導入する。 ベンチマークデータセットの可視化実験により,本手法は一般化の観点から,他のフェデレーション蒸留アルゴリズムよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.1693122614074785
• License:
• Abstract: While existing federated learning approaches primarily focus on aggregating local models to construct a global model, in realistic settings, some clients may be reluctant to share their private models due to the inclusion of privacy-sensitive information. Knowledge distillation, which can extract model knowledge without accessing model parameters, is well-suited for this federated scenario. However, most distillation methods in federated learning (federated distillation) require a proxy dataset, which is difficult to obtain in the real world. Therefore, in this paper, we introduce a distributed three-player Generative Adversarial Network (GAN) to implement data-free mutual distillation and propose an effective method called FedDTG. We confirmed that the fake samples generated by GAN can make federated distillation more efficient and robust. Additionally, the distillation process between clients can deliver good individual client performance while simultaneously acquiring global knowledge and protecting data privacy. Our extensive experiments on benchmark vision datasets demonstrate that our method outperforms other federated distillation algorithms in terms of generalization.
• Abstract（参考訳）: 既存のフェデレーション学習アプローチは、主にグローバルモデルを構築するためにローカルモデルを集約することに焦点を当てているが、現実的な設定では、プライバシーに敏感な情報が含まれているため、一部のクライアントはプライベートモデルを共有することに消極的である。 モデルパラメータにアクセスせずにモデル知識を抽出できる知識蒸留は、この連合シナリオに適している。 しかし、フェデレートドラーニング(フェデレーションドラーニング)におけるほとんどの蒸留法はプロキシデータセットを必要とするため、現実世界では入手が困難である。 そこで本稿では,データフリー相互蒸留を実現するために,分散3プレーヤ生成適応ネットワーク(GAN)を導入し,FedDTGと呼ばれる有効手法を提案する。 GANによって生成された偽のサンプルは, より効率的で堅牢な蒸留を実現できることを確認した。 さらに、クライアント間の蒸留プロセスは、グローバル知識とデータのプライバシ保護を同時に獲得しながら、優れた個々のクライアントパフォーマンスを提供することができる。 ベンチマークビジョンデータセットに関する広範な実験により,本手法は一般化の観点から他のフェデレーション蒸留アルゴリズムよりも優れていることが示された。

関連論文リスト

• DCFL: Non-IID awareness Data Condensation aided Federated Learning [0.8158530638728501]
  フェデレートラーニング(Federated Learning)とは、特定の量のプライベートデータセットを持つクライアントを活用して、中央サーバがグローバルモデルを反復的にトレーニングする分散学習パラダイムである。 問題は、クライアントサイドのプライベートデータが同一かつ独立して分散されないという事実にある。 本稿では、CKA(Centered Kernel Alignment)法を用いてクライアントをグループに分割し、IID非認識のデータセット凝縮法を用いてクライアントを完全化するDCFLを提案する。
  論文  参考訳（メタデータ） (2023-12-21T13:04:24Z)
• Federated Learning Empowered by Generative Content [55.576885852501775]
  フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
  論文  参考訳（メタデータ） (2023-12-10T07:38:56Z)
• Data-Free Distillation Improves Efficiency and Privacy in Federated Thorax Disease Analysis [11.412151951949102]
  大規模、多中心、マルチスキャナ設定における胸部疾患の解析は、厳格なプライバシーポリシーによって制限されることが多い。 我々は,データフリー蒸留に基づくFLアプローチであるFedKDFを紹介する。 FedKDFでは、サーバは軽量なジェネレータを使用して、プライベートデータやプロキシデータセットへのアクセスを必要とせずに、異なるクライアントからの知識を集約する。
  論文  参考訳（メタデータ） (2023-10-22T18:27:35Z)
• Private Set Generation with Discriminative Information [63.851085173614]
  異なるプライベートなデータ生成は、データプライバシの課題に対する有望な解決策である。 既存のプライベートな生成モデルは、合成サンプルの有用性に苦慮している。 我々は,最先端アプローチのサンプルユーティリティを大幅に改善する,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T10:02:55Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• IFedAvg: Interpretable Data-Interoperability for Federated Learning [39.388223565330385]
  本研究では,表型データに対するフェデレーション学習において,クライアントデータの不整合によって引き起こされる低相互運用性の定義と対処を行う。 提案手法であるiFedAvgは、協調学習プロセスのパーソナライズされたきめ細かな理解を可能にするために、局所的な要素ワイドアフィン層を追加するフェデレーション平均化に基づいている。 我々は、2014～2016年の西アフリカエボラ流行から得られた、いくつかの公開ベンチマークと実世界のデータセットを用いて、iFedAvgを評価し、世界でも最大規模のデータセットを共同で作成した。
  論文  参考訳（メタデータ） (2021-07-14T09:54:00Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Generating Higher-Fidelity Synthetic Datasets with Privacy Guarantees [34.01962235805095]
  データアノテーションやインスペクションなど,一般的な機械学習開発タスクにおけるユーザのプライバシ向上の課題を考察する。 我々はベイズ微分プライバシーを、より優れたプライバシー利用トレードオフを提供しながら厳密な理論的保証を達成する手段として採用することを提案する。
  論文  参考訳（メタデータ） (2020-03-02T16:23:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。