論文の概要: A New Dimensionality Reduction Method Based on Hensel's Compression for
Privacy Protection in Federated Learning
- arxiv url: http://arxiv.org/abs/2205.02089v1
- Date: Sun, 1 May 2022 23:52:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-06 07:21:43.244188
- Title: A New Dimensionality Reduction Method Based on Hensel's Compression for
Privacy Protection in Federated Learning
- Title(参考訳): フェデレーション学習におけるプライバシー保護のためのヘンゼル圧縮に基づく新しい次元化手法
- Authors: Ahmed El Ouadrhiri, Ahmed Abdelhadi
- Abstract要約: 既存のDPベースのアプローチの限界を克服するために,プライバシ保護アプローチの2つのレイヤを提案する。
第1のレイヤは、HenselのLemmaに基づいて、トレーニングデータセットの次元を縮小する。
第2の層は、第1の層によって生成された圧縮データセットにDPを適用する。
- 参考スコア(独自算出の注目度): 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differential privacy (DP) is considered a de-facto standard for protecting
users' privacy in data analysis, machine, and deep learning. Existing DP-based
privacy-preserving training approaches consist of adding noise to the clients'
gradients before sharing them with the server. However, implementing DP on the
gradient is not efficient as the privacy leakage increases by increasing the
synchronization training epochs due to the composition theorem. Recently
researchers were able to recover images used in the training dataset using
Generative Regression Neural Network (GRNN) even when the gradient was
protected by DP. In this paper, we propose two layers of privacy protection
approach to overcome the limitations of the existing DP-based approaches. The
first layer reduces the dimension of the training dataset based on Hensel's
Lemma. We are the first to use Hensel's Lemma for reducing the dimension (i.e.,
compress) of a dataset. The new dimensionality reduction method allows reducing
the dimension of a dataset without losing information since Hensel's Lemma
guarantees uniqueness. The second layer applies DP to the compressed dataset
generated by the first layer. The proposed approach overcomes the problem of
privacy leakage due to composition by applying DP only once before the
training; clients train their local model on the privacy-preserving dataset
generated by the second layer. Experimental results show that the proposed
approach ensures strong privacy protection while achieving good accuracy. The
new dimensionality reduction method achieves an accuracy of 97%, with only 25 %
of the original data size.
- Abstract(参考訳): 差分プライバシー(DP)は、データ分析、機械学習、ディープラーニングにおいてユーザのプライバシーを保護するためのデファクトスタンダードと考えられている。
既存のDPベースのプライバシー保護トレーニングアプローチでは、サーバと共有する前にクライアントの勾配にノイズを追加する。
しかし,構成定理による同期トレーニング時間の増加によってプライバシリークが増加するため,勾配上でdpを実装することは効率的ではない。
近年,DPにより勾配が保護された場合でも,GANN(Generative Regression Neural Network)を用いてトレーニングデータセットで使用される画像の復元が可能となった。
本稿では,既存のDPベースのアプローチの限界を克服する2つのプライバシー保護手法を提案する。
第1層は、henselの補題に基づいてトレーニングデータセットの次元を減少させる。
データセットの次元(すなわち圧縮)を減らすためにhenselの補題を最初に使ったのは私たちです。
新しい次元減少法は、ヘンゼルのLemmaが一意性を保証するため、情報を失うことなくデータセットの次元を小さくすることができる。
第2層は、第1層によって生成された圧縮データセットにDPを適用する。
提案手法は,DPをトレーニング前に1回だけ適用することで構成上のプライバシー漏洩を克服し,クライアントは第2層が生成したプライバシー保護データセット上でローカルモデルをトレーニングする。
実験結果から,提案手法は高いプライバシー保護を確保でき,精度が向上することが示された。
新しい次元削減法は、元のデータサイズのわずか25%の精度で97%の精度を達成する。
関連論文リスト
- Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。
我々は、最先端技術にマッチする会員推定のバウンダリを得る。
属性推論に対する新しいデータ依存型バウンダリを提案する。
論文 参考訳(メタデータ) (2024-02-22T09:26:16Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - DPZero: Private Fine-Tuning of Language Models without Backpropagation [52.96184447403505]
DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。
DPZeroのメモリ効率は、6つの下流タスクでプライベートに微調整されたRoBERTaで実証される。
論文 参考訳(メタデータ) (2023-10-14T18:42:56Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳(メタデータ) (2023-08-09T04:34:21Z) - Differential Privacy Meets Neural Network Pruning [10.77469946354744]
ニューラルネットワークのプルーニングと差分プライバシーの相互作用をパラメータ更新の2つのモードを用いて検討する。
実験により,パラメータ空間の減少が個人訓練の差分を改善することを示す。
勾配に依存しない2種類の人気プルーニングについて研究し、さらなるプライバシー損失を生じさせないことにより、ランダム選択が等級に基づく選択と同等に実行されることを示す。
論文 参考訳(メタデータ) (2023-03-08T14:27:35Z) - DataLens: Scalable Privacy Preserving Training via Gradient Compression
and Aggregation [15.63770709526671]
スケーラブルなプライバシー保護生成モデルDataLENSを提案します。
その結果,DATALENSは他のベースラインDP生成モデルよりも優れていた。
DataLENSの主要なビルディングブロックの一つである提案されたTOPAGGアプローチをDP SGDトレーニングに適応させます。
論文 参考訳(メタデータ) (2021-03-20T06:14:19Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。