論文の概要: Directional Privacy for Deep Learning
- arxiv url: http://arxiv.org/abs/2211.04686v1
- Date: Wed, 9 Nov 2022 05:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 18:00:04.449414
- Title: Directional Privacy for Deep Learning
- Title(参考訳): ディープラーニングのための方向性プライバシ
- Authors: Pedro Faustini, Natasha Fernandes, Annabelle McIver, Mark Dras
- Abstract要約: Differentially Privatedirectional Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。
本稿では,von Mises-Fisher (VMF) 分布に基づくメカニズムを用いて,テクティタ角距離の摂動勾配に適用する。
これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングトレーニングのための$epsilon d$-privacyを提供することを示している。
- 参考スコア(独自算出の注目度): 2.680900721377543
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) is a key method
for applying privacy in the training of deep learning models. This applies
isotropic Gaussian noise to gradients during training, which can perturb these
gradients in any direction, damaging utility. Metric DP, however, can provide
alternative mechanisms based on arbitrary metrics that might be more suitable.
In this paper we apply \textit{directional privacy}, via a mechanism based on
the von Mises-Fisher (VMF) distribution, to perturb gradients in terms of
\textit{angular distance} so that gradient direction is broadly preserved. We
show that this provides $\epsilon d$-privacy for deep learning training, rather
than the $(\epsilon, \delta)$-privacy of the Gaussian mechanism; and that
experimentally, on key datasets, the VMF mechanism can outperform the Gaussian
in the utility-privacy trade-off.
- Abstract(参考訳): Differentially Private Stochastic Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。
これはトレーニング中の勾配に等方性ガウスノイズを適用し、任意の方向にこれらの勾配を摂動させ、有用性を損なう。
しかし、メトリックDPは、より適した任意のメトリクスに基づいた代替メカニズムを提供することができる。
本稿では,von mises-fisher (vmf) 分布に基づく機構を用いて,von mises-fisher (vmf) 分布に基づく \textit{directional privacy} を応用し,勾配方向が広く保存されるように \textit{angular distance} を用いて勾配を摂動させる。
これは、ガウスのメカニズムの$(\epsilon, \delta)$-privacyではなく、ディープラーニングトレーニングに$\epsilon d$-privacyを提供することを示している。
関連論文リスト
- Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Differentially Private Temporal Difference Learning with Stochastic
Nonconvex-Strongly-Concave Optimization [17.361143427007224]
時間差(TD)学習は、強化学習における政策を評価するために広く用いられている手法である。
本稿では,非線形値関数を用いたTD学習におけるプライバシ保護について考察する。
DPTDは、トランジションに符号化された機密情報に対して$epsilon,n-differential privacy (DP) を保証し、TD学習の本来のパワーを維持できることを示す。
論文 参考訳(メタデータ) (2022-01-25T16:48:29Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Improving Deep Learning with Differential Privacy using Gradient
Encoding and Denoising [36.935465903971014]
本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。
我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。
我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-07-22T16:33:14Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳(メタデータ) (2020-06-27T19:08:12Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z) - A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via
$f$-Divergences [14.008231249756678]
我々の結果は、近似とR'enyiの差分プライバシーの変動を下支えする2つの$f-divergencesの合同範囲に基づいている。
最先端と比較して、私たちの限界は、同じプライバシー予算のためにディープラーニングモデルをトレーニングするための、およそ100の勾配降下イテレーションにつながります。
論文 参考訳(メタデータ) (2020-01-16T18:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。