論文の概要: Fast and Memory Efficient Differentially Private-SGD via JL Projections
- arxiv url: http://arxiv.org/abs/2102.03013v1
- Date: Fri, 5 Feb 2021 06:02:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 12:54:44.600790
- Title: Fast and Memory Efficient Differentially Private-SGD via JL Projections
- Title(参考訳): JLプロジェクションによる高速かつメモリ効率の差分プライベートSGD
- Authors: Zhiqi Bu, Sivakanth Gopi, Janardhan Kulkarni, Yin Tat Lee, Judy Hanwen
Shen, Uthaipon Tantipongpipat
- Abstract要約: DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。
本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
- 参考スコア(独自算出の注目度): 29.37156662314245
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Differentially Private-SGD (DP-SGD) of Abadi et al. (2016) and its variations
are the only known algorithms for private training of large scale neural
networks. This algorithm requires computation of per-sample gradients norms
which is extremely slow and memory intensive in practice. In this paper, we
present a new framework to design differentially private optimizers called
DP-SGD-JL and DP-Adam-JL. Our approach uses Johnson-Lindenstrauss (JL)
projections to quickly approximate the per-sample gradient norms without
exactly computing them, thus making the training time and memory requirements
of our optimizers closer to that of their non-DP versions.
Unlike previous attempts to make DP-SGD faster which work only on a subset of
network architectures or use compiler techniques, we propose an algorithmic
solution which works for any network in a black-box manner which is the main
contribution of this paper. To illustrate this, on IMDb dataset, we train a
Recurrent Neural Network (RNN) to achieve good privacy-vs-accuracy tradeoff,
while being significantly faster than DP-SGD and with a similar memory
footprint as non-private SGD. The privacy analysis of our algorithms is more
involved than DP-SGD, we use the recently proposed f-DP framework of Dong et
al. (2019) to prove privacy.
- Abstract(参考訳): Abadi et al.の異なるプライベートSGD(DP-SGD)。
(2016)とその変種は、大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。
このアルゴリズムはサンプル毎の勾配ノルムの計算を必要とし、実際には非常に遅く、メモリ集約的である。
本稿では,DP-SGD-JLとDP-Adam-JLという差分プライベートオプティマイザを設計するための新しいフレームワークを提案する。
提案手法ではジョンソン・リンデンシュトラウス(JL)プロジェクションを用いて,サンプルごとの勾配ノルムを正確に計算することなく高速に近似することにより,最適化器のトレーニング時間とメモリ要求を非DPバージョンに近いものにする。
DP-SGDをネットワークアーキテクチャのサブセットでのみ動作させたり、コンパイラ技術を使用したりする従来の試みとは異なり、本論文の主な貢献点であるブラックボックス方式で任意のネットワークで動作するアルゴリズムソリューションを提案する。
これを説明するために、IMDbデータセットでは、リカレントニューラルネットワーク(RNN)を訓練して、DP-SGDよりも大幅に高速で、非プライベートSGDと同様のメモリフットプリントで、良好なプライバシvs精度のトレードオフを実現する。
我々のアルゴリズムのプライバシー分析はDP-SGDよりも複雑であり、最近提案されたDongらのf-DPフレームワークを使用している。
(2019) プライバシーを証明するため。
関連論文リスト
- Optimal Rates for DP-SCO with a Single Epoch and Large Batches [12.184984662899868]
我々は,この独立性を破り,勾配差でのみプライバシを支払うことができる新しいDPアルゴリズムを提案する。
我々のアルゴリズムは、バッチサイズが少なくとも$sqrtn$のバッチグラデーションステップで実行できます。
論文 参考訳(メタデータ) (2024-06-04T18:59:42Z) - LazyDP: Co-Designing Algorithm-Software for Scalable Training of Differentially Private Recommendation Models [8.92538797216985]
本稿ではDP-SGDを用いたプライベートRecSysトレーニングの特性について述べる。
本稿では,RecSysをDP-SGDでトレーニングする際の計算とメモリの問題に対処するアルゴリズムとソフトウェアの共同設計であるLazyDPを提案する。
最先端のDP-SGDトレーニングシステムと比較して,LazyDPが平均119倍のトレーニングスループット向上を実現していることを示す。
論文 参考訳(メタデータ) (2024-04-12T23:32:06Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with
Importance Sampling [19.59757201902467]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳(メタデータ) (2022-10-18T07:03:14Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger [39.93710312222771]
サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。
本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
論文 参考訳(メタデータ) (2022-06-14T19:49:44Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - What You See is What You Get: Distributional Generalization for
Algorithm Design in Deep Learning [12.215964287323876]
微分プライバシー(DP)と分布一般化(DG)の概念の関連性について検討・活用する。
我々は、標準勾配降下(SGD)の「病理」をバイパスするディープラーニング手法を設計するための新しい概念ツールを導入する。
論文 参考訳(メタデータ) (2022-04-07T05:41:40Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - NeuralDP Differentially private neural networks by design [61.675604648670095]
ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。
本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
論文 参考訳(メタデータ) (2021-07-30T12:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。