論文の概要: The Relative Gaussian Mechanism and its Application to Private Gradient Descent

• arxiv url: http://arxiv.org/abs/2308.15250v1
• Date: Tue, 29 Aug 2023 12:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 14:18:44.424023
• Title: The Relative Gaussian Mechanism and its Application to Private Gradient Descent
• Title（参考訳）: 相対的ガウスのメカニズムとプライベートグラディエント蛍光への応用
• Authors: Hadrien Hendrikx, Paul Mangold and Aur\'elien Bellet
• Abstract要約: 相対的なL2感度仮定では、2つのクエリアウトプット間の距離がノルムに依存する可能性がある。 RGMは自然に出力のノルムを制御する潜在変数に適応することを示す。
• 参考スコア（独自算出の注目度）: 9.476574202324349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Gaussian Mechanism (GM), which consists in adding Gaussian noise to a vector-valued query before releasing it, is a standard privacy protection mechanism. In particular, given that the query respects some L2 sensitivity property (the L2 distance between outputs on any two neighboring inputs is bounded), GM guarantees R\'enyi Differential Privacy (RDP). Unfortunately, precisely bounding the L2 sensitivity can be hard, thus leading to loose privacy bounds. In this work, we consider a Relative L2 sensitivity assumption, in which the bound on the distance between two query outputs may also depend on their norm. Leveraging this assumption, we introduce the Relative Gaussian Mechanism (RGM), in which the variance of the noise depends on the norm of the output. We prove tight bounds on the RDP parameters under relative L2 sensitivity, and characterize the privacy loss incurred by using output-dependent noise. In particular, we show that RGM naturally adapts to a latent variable that would control the norm of the output. Finally, we instantiate our framework to show tight guarantees for Private Gradient Descent, a problem that naturally fits our relative L2 sensitivity assumption.
• Abstract（参考訳）: リリース前にベクトル値クエリにガウスノイズを追加することで構成されるガウスメカニズム(GM)は、標準的なプライバシ保護メカニズムである。 特に、クエリがL2感度特性(隣り合う2つの入力の出力間のL2距離は有界)を尊重すると、GMはR'enyi Differential Privacy (RDP)を保証する。 残念ながら、L2感度の正確なバウンドは難しいため、プライバシーのバウンドは緩い。 本研究では,2つの問合せ出力間の距離の境界が基準に依存する可能性がある相対的l2感度仮定を考察する。 この仮定を利用して、雑音の分散が出力のノルムに依存する相対ガウス機構(RGM)を導入する。 相対的なL2感度下でのRDPパラメータの厳密な境界を証明し、出力依存ノイズを用いて生じるプライバシー損失を特徴付ける。 特に、RGMは自然に出力のノルムを制御する潜在変数に適応することを示す。 最後に、我々のフレームワークをインスタンス化し、相対的なL2感度仮定に自然に適合する問題であるPrivate Gradient Descentの厳密な保証を示す。

関連論文リスト

• On the Privacy of Selection Mechanisms with Gaussian Noise [44.577599546904736]
  ガウス雑音によるReport Noisy MaxとAbove Thresholdの分析を再検討する。 その結果,Report Noisy Max の純元 DP 境界と Above Threshold の純元 DP 境界を提供することが可能であることがわかった。
  論文  参考訳（メタデータ） (2024-02-09T02:11:25Z)
• Geometry of Sensitivity: Twice Sampling and Hybrid Clipping in Differential Privacy with Optimal Gaussian Noise and Application to Deep Learning [18.92302645198466]
  微分プライバシーにおける最適ランダム化の構成問題について検討する。 適切な選択された感度集合に対する最小摂動を求めることは、DP研究の中心的な問題である。
  論文  参考訳（メタデータ） (2023-09-06T02:45:08Z)
• On User-Level Private Convex Optimization [59.75368670035683]
  ユーザレベルの差分プライバシー保証を伴う凸最適化(SCO)のための新しいメカニズムを提案する。 我々のメカニズムは損失に対する滑らかさの仮定を必要としない。 私たちの限界は、ユーザレベルのプライバシーに必要な最小限のユーザが、その次元に依存しない、最初のものです。
  論文  参考訳（メタデータ） (2023-05-08T17:47:28Z)
• Differential Privacy with Higher Utility by Exploiting Coordinate-wise Disparity: Laplace Mechanism Can Beat Gaussian in High Dimensions [9.20186865054847]
  我々は、i.n.d. Gaussian と Laplace のメカニズムを研究し、これらのメカニズムがプライバシーを保証する条件を得る。 i.n.d.ノイズは, (a) 座標降下, (b) 主成分分析, (c) グループクリッピングによる深層学習における性能を向上することを示す。
  論文  参考訳（メタデータ） (2023-02-07T14:54:20Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [53.01656650117495]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• A unified interpretation of the Gaussian mechanism for differential privacy through the sensitivity index [61.675604648670095]
  GMの一般的な3つの解釈、すなわち$(varepsilon, delta)$-DP, f-DP, R'enyi DPは1つのパラメータ$psi$で表現できる。 $psi$は、クエリの感度とノイズ摂動の大きさの2つの基本量をカプセル化することによって、GMとその特性を特徴付ける。
  論文  参考訳（メタデータ） (2021-09-22T06:20:01Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Learning Numeric Optimal Differentially Private Truncated Additive Mechanisms [5.079561894598125]
  実効性境界が強い付加的なメカニズムに対して,トランクテッドノイズを学習するためのツールを提案する。 平均単調な単調な音から, 対称性やその新しい音を考慮すれば十分であることを示す。 感度境界機構については, 平均単調な単調なノイズから, 対称性とその新しさを考えるのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-07-27T17:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。