論文の概要: A New Dimensionality Reduction Method Based on Hensel's Compression for
Privacy Protection in Federated Learning
- arxiv url: http://arxiv.org/abs/2205.02089v1
- Date: Sun, 1 May 2022 23:52:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-06 07:21:43.244188
- Title: A New Dimensionality Reduction Method Based on Hensel's Compression for
Privacy Protection in Federated Learning
- Title（参考訳）: フェデレーション学習におけるプライバシー保護のためのヘンゼル圧縮に基づく新しい次元化手法
- Authors: Ahmed El Ouadrhiri, Ahmed Abdelhadi
- Abstract要約: 既存のDPベースのアプローチの限界を克服するために,プライバシ保護アプローチの2つのレイヤを提案する。
第1のレイヤは、HenselのLemmaに基づいて、トレーニングデータセットの次元を縮小する。
第2の層は、第1の層によって生成された圧縮データセットにDPを適用する。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differential privacy (DP) is considered a de-facto standard for protecting
users' privacy in data analysis, machine, and deep learning. Existing DP-based
privacy-preserving training approaches consist of adding noise to the clients'
gradients before sharing them with the server. However, implementing DP on the
gradient is not efficient as the privacy leakage increases by increasing the
synchronization training epochs due to the composition theorem. Recently
researchers were able to recover images used in the training dataset using
Generative Regression Neural Network (GRNN) even when the gradient was
protected by DP. In this paper, we propose two layers of privacy protection
approach to overcome the limitations of the existing DP-based approaches. The
first layer reduces the dimension of the training dataset based on Hensel's
Lemma. We are the first to use Hensel's Lemma for reducing the dimension (i.e.,
compress) of a dataset. The new dimensionality reduction method allows reducing
the dimension of a dataset without losing information since Hensel's Lemma
guarantees uniqueness. The second layer applies DP to the compressed dataset
generated by the first layer. The proposed approach overcomes the problem of
privacy leakage due to composition by applying DP only once before the
training; clients train their local model on the privacy-preserving dataset
generated by the second layer. Experimental results show that the proposed
approach ensures strong privacy protection while achieving good accuracy. The
new dimensionality reduction method achieves an accuracy of 97%, with only 25 %
of the original data size.
- Abstract（参考訳）: 差分プライバシー(DP)は、データ分析、機械学習、ディープラーニングにおいてユーザのプライバシーを保護するためのデファクトスタンダードと考えられている。
既存のDPベースのプライバシー保護トレーニングアプローチでは、サーバと共有する前にクライアントの勾配にノイズを追加する。
しかし,構成定理による同期トレーニング時間の増加によってプライバシリークが増加するため,勾配上でdpを実装することは効率的ではない。
近年,DPにより勾配が保護された場合でも,GANN(Generative Regression Neural Network)を用いてトレーニングデータセットで使用される画像の復元が可能となった。
本稿では,既存のDPベースのアプローチの限界を克服する2つのプライバシー保護手法を提案する。
第1層は、henselの補題に基づいてトレーニングデータセットの次元を減少させる。
データセットの次元(すなわち圧縮)を減らすためにhenselの補題を最初に使ったのは私たちです。
新しい次元減少法は、ヘンゼルのLemmaが一意性を保証するため、情報を失うことなくデータセットの次元を小さくすることができる。
第2層は、第1層によって生成された圧縮データセットにDPを適用する。
提案手法は,DPをトレーニング前に1回だけ適用することで構成上のプライバシー漏洩を克服し,クライアントは第2層が生成したプライバシー保護データセット上でローカルモデルをトレーニングする。
実験結果から,提案手法は高いプライバシー保護を確保でき,精度が向上することが示された。
新しい次元削減法は、元のデータサイズのわずか25%の精度で97%の精度を達成する。
関連論文リスト
- Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。
DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。
公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。
ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
論文 参考訳（メタデータ） (2024-02-28T23:26:27Z) - Conciliating Privacy and Utility in Data Releases via Individual Differential Privacy and Microaggregation [4.287502453001108]
$epsilon$-Differential Privacy(DP)は、強力なプライバシ保証を提供するよく知られたプライバシモデルである。
被験者にDPと同じ保護を提供しながらデータ歪みを低減させるiDP ($epsilon$-individual differential privacy) を提案する。
本稿では,2次データ解析の精度を著しく低下させることのない保護データを提供しながら,我々のアプローチが強力なプライバシ(小額のepsilon$)を提供することを示す実験について報告する。
論文 参考訳（メタデータ） (2023-12-21T10:23:18Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Differential Privacy Meets Neural Network Pruning [10.77469946354744]
ニューラルネットワークのプルーニングと差分プライバシーの相互作用をパラメータ更新の2つのモードを用いて検討する。
実験により,パラメータ空間の減少が個人訓練の差分を改善することを示す。
勾配に依存しない2種類の人気プルーニングについて研究し、さらなるプライバシー損失を生じさせないことにより、ランダム選択が等級に基づく選択と同等に実行されることを示す。
論文 参考訳（メタデータ） (2023-03-08T14:27:35Z) - DataLens: Scalable Privacy Preserving Training via Gradient Compression
and Aggregation [15.63770709526671]
スケーラブルなプライバシー保護生成モデルDataLENSを提案します。
その結果,DATALENSは他のベースラインDP生成モデルよりも優れていた。
DataLENSの主要なビルディングブロックの一つである提案されたTOPAGGアプローチをDP SGDトレーニングに適応させます。
論文 参考訳（メタデータ） (2021-03-20T06:14:19Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳（メタデータ） (2020-08-01T20:22:57Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。