論文の概要: Preserving Privacy in Federated Learning with Ensemble Cross-Domain
Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2209.04599v1
- Date: Sat, 10 Sep 2022 05:20:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 12:52:48.831868
- Title: Preserving Privacy in Federated Learning with Ensemble Cross-Domain
Knowledge Distillation
- Title(参考訳): クロスドメイン知識蒸留を組み込んだフェデレーション学習におけるプライバシ保護
- Authors: Xuan Gong, Abhishek Sharma, Srikrishna Karanam, Ziyan Wu, Terrence
Chen, David Doermann, Arun Innanje
- Abstract要約: Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。
既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。
我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
- 参考スコア(独自算出の注目度): 22.151404603413752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a machine learning paradigm where local nodes
collaboratively train a central model while the training data remains
decentralized. Existing FL methods typically share model parameters or employ
co-distillation to address the issue of unbalanced data distribution. However,
they suffer from communication bottlenecks. More importantly, they risk privacy
leakage. In this work, we develop a privacy preserving and communication
efficient method in a FL framework with one-shot offline knowledge distillation
using unlabeled, cross-domain public data. We propose a quantized and noisy
ensemble of local predictions from completely trained local models for stronger
privacy guarantees without sacrificing accuracy. Based on extensive experiments
on image classification and text classification tasks, we show that our
privacy-preserving method outperforms baseline FL algorithms with superior
performance in both accuracy and communication efficiency.
- Abstract(参考訳): Federated Learning(FL)は、トレーニングデータが分散化されている間、ローカルノードが協力して中央モデルをトレーニングする機械学習パラダイムである。
既存のfl法は通常、モデルパラメータを共有するか、不均衡なデータ分散の問題に対処するために共蒸留を用いる。
しかし、通信のボトルネックに苦しむ。
さらに重要なのは、プライバシー漏洩のリスクだ。
本研究では,未ラベルのクロスドメイン公開データを用いた一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率の向上を図る。
完全訓練されたローカルモデルからの局所的予測の定量化とノイズアンサンブルを提案し,精度を犠牲にすることなく,より強力なプライバシ保証を実現する。
画像分類とテキスト分類タスクに関する広範囲な実験により,プライバシ保存手法が,精度と通信効率に優れるベースラインflアルゴリズムよりも優れていることを示す。
関連論文リスト
- Federated Learning via Input-Output Collaborative Distillation [40.38454921071808]
Federated Learning(FL)は、個別に保持されたプライベートデータを共有せずに、分散ローカルノードが協調的に中央モデルをトレーニングする機械学習パラダイムである。
直接入力と出力空間を利用した局所-中央協調蒸留に基づくデータフリーFLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T07:05:13Z) - Federated Learning with Reduced Information Leakage and Computation [20.005520306964485]
フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。
本稿では,偶数反復毎に一階近似を適用した新しいフェデレーション学習フレームワークであるUpcycled-FLを紹介する。
このフレームワークの下では、FL更新の半分は情報漏洩を発生させることなく、はるかに少ない計算を必要とする。
論文 参考訳(メタデータ) (2023-10-10T06:22:06Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳(メタデータ) (2023-03-31T10:13:01Z) - Federated Learning with Privacy-Preserving Ensemble Attention
Distillation [63.39442596910485]
Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。
我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
論文 参考訳(メタデータ) (2022-10-16T06:44:46Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳(メタデータ) (2022-02-10T20:44:44Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳(メタデータ) (2021-07-01T06:14:51Z) - FedOCR: Communication-Efficient Federated Learning for Scene Text
Recognition [76.26472513160425]
本研究では、分散化されたデータセットを用いて、ロバストなシーンテキスト認識器を訓練する方法について研究する。
FedOCRをエンドデバイスにデプロイするのに適したものにするために、軽量モデルとハッシュ技術の使用を含む2つの改善を行った。
論文 参考訳(メタデータ) (2020-07-22T14:30:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。