論文の概要: FedDTG:Federated Data-Free Knowledge Distillation via Three-Player
Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2201.03169v1
- Date: Mon, 10 Jan 2022 05:26:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 22:48:41.666240
- Title: FedDTG:Federated Data-Free Knowledge Distillation via Three-Player
Generative Adversarial Networks
- Title(参考訳): FedDTG:3プレイヤー生成逆ネットワークによるデータフリー知識蒸留
- Authors: Zhenyuan Zhang
- Abstract要約: クライアント間でのデータフリーな共蒸留を実現するために,分散3プレーヤGANを導入する。
我々は, GAN が生成した清酒試料が, より効率よく, 堅牢に蒸留できることを確認した。
本実験は,提案手法のより優れた一般化性能を示す。
- 参考スコア(独自算出の注目度): 1.0355894890759376
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Applying knowledge distillation to personalized cross-silo federated learning
can well alleviate the problem of user heterogeneity. This approach, however,
requires a proxy dataset, which is difficult to obtain in the real world.
Moreover, the global model based on parameter averaging will lead to the
leakage of user privacy. We introduce a distributed three-player GAN to
implement datafree co-distillation between clients. This technique mitigates
the user heterogeneity problem and better protects user privacy. We confirmed
that thefake samples generated by GAN can make federated distillation more
efficient and robust, and the co-distillation can achieve good performance for
individual clients on the basis of obtaining global knowledge. Our extensive
experiments on benchmark datasets demonstrate the superior generalization
performance of the proposed methods, compared with the state-of-the-art.
- Abstract(参考訳): パーソナライズされたクロスサイロ連合学習に知識蒸留を適用することで、ユーザの多様性の問題を緩和することができる。
しかし、このアプローチにはプロキシデータセットが必要であり、現実の世界では取得が難しい。
さらに,パラメータ平均化に基づくグローバルモデルにより,ユーザのプライバシーが漏洩する。
クライアント間でのデータフリーな共蒸留を実現するために,分散3プレーヤGANを導入する。
この技術は、ユーザの不均一性を軽減し、ユーザのプライバシーをよりよく保護する。
また,ganが生成するフェーケ試料は,混合蒸留をより効率的かつ堅牢にし,また,グローバル知識を得ることにより,個々のクライアントに対して良好な性能が得られることを確認した。
ベンチマークデータセットに関する広範な実験により,提案手法のより優れた一般化性能が示された。
関連論文リスト
- DCFL: Non-IID awareness Data Condensation aided Federated Learning [0.8158530638728501]
フェデレートラーニング(Federated Learning)とは、特定の量のプライベートデータセットを持つクライアントを活用して、中央サーバがグローバルモデルを反復的にトレーニングする分散学習パラダイムである。
問題は、クライアントサイドのプライベートデータが同一かつ独立して分散されないという事実にある。
本稿では、CKA(Centered Kernel Alignment)法を用いてクライアントをグループに分割し、IID非認識のデータセット凝縮法を用いてクライアントを完全化するDCFLを提案する。
論文 参考訳(メタデータ) (2023-12-21T13:04:24Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳(メタデータ) (2023-12-10T07:38:56Z) - Data-Free Distillation Improves Efficiency and Privacy in Federated
Thorax Disease Analysis [11.412151951949102]
大規模、多中心、マルチスキャナ設定における胸部疾患の解析は、厳格なプライバシーポリシーによって制限されることが多い。
我々は,データフリー蒸留に基づくFLアプローチであるFedKDFを紹介する。
FedKDFでは、サーバは軽量なジェネレータを使用して、プライベートデータやプロキシデータセットへのアクセスを必要とせずに、異なるクライアントからの知識を集約する。
論文 参考訳(メタデータ) (2023-10-22T18:27:35Z) - Private Set Generation with Discriminative Information [63.851085173614]
異なるプライベートなデータ生成は、データプライバシの課題に対する有望な解決策である。
既存のプライベートな生成モデルは、合成サンプルの有用性に苦慮している。
我々は,最先端アプローチのサンプルユーティリティを大幅に改善する,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-11-07T10:02:55Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - IFedAvg: Interpretable Data-Interoperability for Federated Learning [39.388223565330385]
本研究では,表型データに対するフェデレーション学習において,クライアントデータの不整合によって引き起こされる低相互運用性の定義と対処を行う。
提案手法であるiFedAvgは、協調学習プロセスのパーソナライズされたきめ細かな理解を可能にするために、局所的な要素ワイドアフィン層を追加するフェデレーション平均化に基づいている。
我々は、2014~2016年の西アフリカエボラ流行から得られた、いくつかの公開ベンチマークと実世界のデータセットを用いて、iFedAvgを評価し、世界でも最大規模のデータセットを共同で作成した。
論文 参考訳(メタデータ) (2021-07-14T09:54:00Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Generating Higher-Fidelity Synthetic Datasets with Privacy Guarantees [34.01962235805095]
データアノテーションやインスペクションなど,一般的な機械学習開発タスクにおけるユーザのプライバシ向上の課題を考察する。
我々はベイズ微分プライバシーを、より優れたプライバシー利用トレードオフを提供しながら厳密な理論的保証を達成する手段として採用することを提案する。
論文 参考訳(メタデータ) (2020-03-02T16:23:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。