論文の概要: Privacy-Preserving Federated Learning with Consistency via Knowledge Distillation Using Conditional Generator
- arxiv url: http://arxiv.org/abs/2409.06955v2
- Date: Mon, 16 Sep 2024 08:23:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 12:29:39.817930
- Title: Privacy-Preserving Federated Learning with Consistency via Knowledge Distillation Using Conditional Generator
- Title（参考訳）: 条件付き発電機を用いた知識蒸留による整合性を考慮したプライバシ保護フェデレーション学習
- Authors: Kangyang Luo, Shuai Wang, Xiang Li, Yunshi Lan, Ming Gao, Jinlong Shu,
- Abstract要約: モデルパラメータや更新のみを共有し、プライベートデータをローカルに保持する分散学習フレームワークとして、フェデレートラーニング(FL)が人気を集めています。
高い競争性能と高レベルのプライバシ保護を備えた新しいFL法であるFedMD-CGを提案する。
我々は、FedMD-CGの優位性を検証するために、様々な画像分類タスクについて広範な実験を行った。
- 参考スコア（独自算出の注目度）: 19.00239208095762
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is gaining popularity as a distributed learning framework that only shares model parameters or gradient updates and keeps private data locally. However, FL is at risk of privacy leakage caused by privacy inference attacks. And most existing privacy-preserving mechanisms in FL conflict with achieving high performance and efficiency. Therefore, we propose FedMD-CG, a novel FL method with highly competitive performance and high-level privacy preservation, which decouples each client's local model into a feature extractor and a classifier, and utilizes a conditional generator instead of the feature extractor to perform server-side model aggregation. To ensure the consistency of local generators and classifiers, FedMD-CG leverages knowledge distillation to train local models and generators at both the latent feature level and the logit level. Also, we construct additional classification losses and design new diversity losses to enhance client-side training. FedMD-CG is robust to data heterogeneity and does not require training extra discriminators (like cGAN). We conduct extensive experiments on various image classification tasks to validate the superiority of FedMD-CG.
- Abstract（参考訳）: フェデレートラーニング(FL)は、モデルパラメータや勾配の更新のみを共有し、プライベートデータをローカルに保持する分散学習フレームワークとして人気を集めています。
しかし、FLはプライバシ推論攻撃によるプライバシー漏洩のリスクがある。
そして、FLの既存のプライバシ保護機構は、高いパフォーマンスと効率を達成するのと矛盾する。
そこで我々は,各クライアントのローカルモデルを特徴抽出器と分類器に分離し,特徴抽出器の代わりに条件生成器を用いてサーバ側モデルアグリゲーションを行う,高い競争性能と高レベルのプライバシ保護を備えた新しいFL手法であるFedMD-CGを提案する。
ローカルジェネレータと分類器の整合性を確保するため、FedMD-CGは知識蒸留を活用し、潜在特徴レベルとロジットレベルの両方でローカルモデルとジェネレータを訓練する。
また、クライアント側トレーニングを強化するために、新たな分類損失を構築し、新しい多様性損失を設計する。
FedMD-CGはデータの不均一性に対して堅牢であり、(cGANのような)追加の識別器の訓練を必要としない。
我々は、FedMD-CGの優位性を検証するために、様々な画像分類タスクについて広範な実験を行った。
関連論文リスト
- FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。
既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。
我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
論文 参考訳（メタデータ） (2024-06-13T19:28:08Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳（メタデータ） (2023-12-10T07:38:56Z) - DFRD: Data-Free Robustness Distillation for Heterogeneous Federated
Learning [20.135235291912185]
Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。
本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
論文 参考訳（メタデータ） (2023-09-24T04:29:22Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳（メタデータ） (2023-04-04T12:04:19Z) - Federated Learning with Privacy-Preserving Ensemble Attention
Distillation [63.39442596910485]
Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。
我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
論文 参考訳（メタデータ） (2022-10-16T06:44:46Z) - Preserving Privacy in Federated Learning with Ensemble Cross-Domain
Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。
既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。
我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文 参考訳（メタデータ） (2022-09-10T05:20:31Z) - Federated Learning on Heterogeneous and Long-Tailed Data via Classifier
Re-Training with Federated Features [24.679535905451758]
Federated Learning (FL)は、分散機械学習タスクのためのプライバシ保護ソリューションを提供する。
FLモデルの性能を著しく損なう難題の1つは、データ不均一性と長い尾分布の共起である。
We propose a novel privacy-serving FL method for heterogeneous and long-tailed data via Federated Re-training with Federated Features (CreFF)。
論文 参考訳（メタデータ） (2022-04-28T10:35:11Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。