論文の概要: Directional Privacy for Deep Learning

• arxiv url: http://arxiv.org/abs/2211.04686v2
• Date: Wed, 14 Jun 2023 02:27:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 03:15:50.391059
• Title: Directional Privacy for Deep Learning
• Title（参考訳）: ディープラーニングのための方向性プライバシ
• Authors: Pedro Faustini, Natasha Fernandes, Shakila Tonni, Annabelle McIver, Mark Dras
• Abstract要約: Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。 本稿では,Von Mises-Fisher(VMF)分布に基づくメカニズムを用いて,直交距離の摂動勾配に適用し,勾配方向を保存する。 これは、ガウス機構のエプシロンd$プライバシではなく、ディープラーニングトレーニングに$epsilon$-DPと$epsilon d$プライバシの両方を提供することを示している。
• 参考スコア（独自算出の注目度）: 2.4988682774991235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) is a key method for applying privacy in the training of deep learning models. This applies isotropic Gaussian noise to gradients during training, which can perturb these gradients in any direction, damaging utility. Metric DP, however, can provide alternative mechanisms based on arbitrary metrics that might be more suitable for preserving utility. In this paper, we apply \textit{directional privacy}, via a mechanism based on the von Mises-Fisher (VMF) distribution, to perturb gradients in terms of \textit{angular distance} so that gradient direction is broadly preserved. We show that this provides both $\epsilon$-DP and $\epsilon d$-privacy for deep learning training, rather than the $(\epsilon, \delta)$-privacy of the Gaussian mechanism; we observe that the $\epsilon d$-privacy guarantee does not require a $\delta>0$ term but degrades smoothly according to the dissimilarity of the input gradients. As $\epsilon$s between these different frameworks cannot be directly compared, we examine empirical privacy calibration mechanisms that go beyond previous work on empirically calibrating privacy within standard DP frameworks using membership inference attacks (MIA); we show that a combination of enhanced MIA and reconstruction attacks provides a suitable method for privacy calibration. Experiments on key datasets then indicate that the VMF mechanism can outperform the Gaussian in the utility-privacy trade-off. In particular, our experiments provide a direct comparison of privacy between the two approaches in terms of their ability to defend against reconstruction and membership inference.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。 これはトレーニング中の勾配に等方性ガウスノイズを適用し、任意の方向にこれらの勾配を摂動させ、有用性を損なう。 しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。 本稿では,von mises-fisher (vmf) 分布に基づく機構を用いて,von mises-fisher (vmf) 分布に基づく \textit{directional privacy} を適用し,グラデーション方向が広く保存されるように \textit{angular distance} を用いて勾配を摂動させる。 このことは、ガウスのメカニズムの$(\epsilon, \delta)$-privacyではなく、深層学習トレーニングに$\epsilon$-DPと$\epsilon d$-privacyの両方を提供することを示している。 これらの異なるフレームワーク間の$\epsilon$sを直接比較できないため、MIA(メンバシップ推論攻撃)を用いた標準DPフレームワーク内のプライバシを実証的に校正する経験的プライバシ校正メカニズムを検証し、MIAの強化と再構築攻撃の組み合わせが、プライバシ校正に適した方法であることを示した。 キーデータセットの実験は、VMFメカニズムがユーティリティとプライバシのトレードオフでガウシアンを上回っていることを示している。 特に,本実験は,再建と会員推定に対する防御能力の観点から,2つのアプローチのプライバシーを直接比較するものである。

関連論文リスト

• Differentially Private Block-wise Gradient Shuffle for Deep Learning [0.0]
  本稿では,ディープラーニングのためのDP-BloGSアルゴリズムを提案する。 DP-BloGSは、既存の私的なディープラーニングの文献から成り立っているが、勾配雑音導入に対する確率的アプローチを採用することで、決定的な変化を生んでいる。 DP-SGDよりもデータ抽出に対する耐性が高いことが判明した。
  論文  参考訳（メタデータ） (2024-07-31T05:32:37Z)
• Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent [1.0742675209112622]
  Gradient Descent (SGD) は機械学習において広く使われているツールである。 ブートストラップによるSGDの不確実性定量化(UQ)は、いくつかの著者によって解決されている。 本稿では,ローカルな差分プライバシーの下でSGDのブロックブートストラップを提案する。
  論文  参考訳（メタデータ） (2024-05-21T07:47:21Z)
• Differentially Private Gradient Flow based on the Sliced Wasserstein Distance [59.1056830438845]
  本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデリング手法を提案する。 実験により,提案モデルが低プライバシー予算で高忠実度データを生成可能であることが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:47:30Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private Temporal Difference Learning with Stochastic Nonconvex-Strongly-Concave Optimization [17.361143427007224]
  時間差(TD)学習は、強化学習における政策を評価するために広く用いられている手法である。 本稿では,非線形値関数を用いたTD学習におけるプライバシ保護について考察する。 DPTDは、トランジションに符号化された機密情報に対して$epsilon,n-differential privacy (DP) を保証し、TD学習の本来のパワーを維持できることを示す。
  論文  参考訳（メタデータ） (2022-01-25T16:48:29Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via $f$-Divergences [14.008231249756678]
  我々の結果は、近似とR'enyiの差分プライバシーの変動を下支えする2つの$f-divergencesの合同範囲に基づいている。 最先端と比較して、私たちの限界は、同じプライバシー予算のためにディープラーニングモデルをトレーニングするための、およそ100の勾配降下イテレーションにつながります。
  論文  参考訳（メタデータ） (2020-01-16T18:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。