Fugu-MT 論文翻訳(概要): Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy

論文の概要: Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy

arxiv url: http://arxiv.org/abs/2202.07178v1
Date: Tue, 15 Feb 2022 04:05:42 GMT
ステータス: 処理完了
システム内更新日: 2022-02-17 05:18:39.719973
Title: Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy
Title（参考訳）: モデル摂動によるフェデレーション学習:クライアントレベル差分プライバシー下での精度向上
Authors: Rui Hu, Yanmin Gong and Yuanxiong Guo
Abstract要約: フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
参考スコア（独自算出の注目度）: 27.243322019117144
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) that enables distributed clients to collaboratively learn a shared statistical model while keeping their training data locally has received great attention recently and can improve privacy and communication efficiency in comparison with traditional centralized machine learning paradigm. However, sensitive information about the training data can still be inferred from model updates shared in FL. Differential privacy (DP) is the state-of-the-art technique to defend against those attacks. The key challenge to achieve DP in FL lies in the adverse impact of DP noise on model accuracy, particularly for deep learning models with large numbers of model parameters. This paper develops a novel differentially-private FL scheme named Fed-SMP that provides client-level DP guarantee while maintaining high model accuracy. To mitigate the impact of privacy protection on model accuracy, Fed-SMP leverages a new technique called Sparsified Model Perturbation (SMP), where local models are sparsified first before being perturbed with additive Gaussian noise. Two sparsification strategies are considered in Fed-SMP: random sparsification and top-$k$ sparsification. We also apply R{\'e}nyi differential privacy to providing a tight analysis for the end-to-end DP guarantee of Fed-SMP and prove the convergence of Fed-SMP with general loss functions. Extensive experiments on real-world datasets are conducted to demonstrate the effectiveness of Fed-SMP in largely improving model accuracy with the same level of DP guarantee and saving communication cost simultaneously.
Abstract（参考訳）: 分散クライアントがローカルにトレーニングデータを保持しながら共有統計モデルを共同学習できるフェデレーション・ラーニング(fl)が最近注目され、従来の集中型機械学習パラダイムと比較して、プライバシと通信効率が向上している。しかし、FLで共有されたモデル更新からトレーニングデータに関する機密情報を推測することもできる。差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。 FLにおけるDP達成の鍵となる課題は、DPノイズがモデル精度、特に多数のモデルパラメータを持つディープラーニングモデルに悪影響を与えることである。本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を提供するFed-SMPという新しいFL方式を開発する。モデル精度に対するプライバシ保護の影響を軽減するため、Fed-SMPでは、Sparsified Model Perturbation(SMP)と呼ばれる新しいテクニックを活用している。 Fed-SMPでは2つのスパーシフィケーション戦略が検討されている。 R{\'e}nyi差分プライバシーをFed-SMPのエンドツーエンドDP保証の厳密な分析に応用し、一般損失関数によるFed-SMPの収束性を証明する。実世界のデータセットに対する大規模な実験を行い、Fed-SMPのモデル精度を大幅に改善し、DP保証と通信コストを同時に削減する効果を実証した。

関連論文リスト

Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文参考訳（メタデータ） (2024-11-04T21:27:06Z)
CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
論文参考訳（メタデータ） (2024-09-20T00:23:44Z)
Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
論文参考訳（メタデータ） (2024-07-20T00:11:59Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
論文参考訳（メタデータ） (2023-05-01T15:19:09Z)
Communication and Energy Efficient Wireless Federated Learning with Intrinsic Privacy [16.305837225117603]
Federated Learning(FL)は、エッジデバイスが生データをローカルに保持しながら、グローバルモデルを共同で学習することを可能にする、協調学習フレームワークである。本研究では,PFELS(Private Edge Learning with Spars)と呼ばれる新しい無線FL方式を提案する。
論文参考訳（メタデータ） (2023-04-15T03:04:11Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文参考訳（メタデータ） (2021-01-11T19:43:12Z)
Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。スパーシフィケーションを増幅した新しいFLフレームワークを提案する。提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文参考訳（メタデータ） (2020-08-01T20:22:57Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。