論文の概要: Geometry of Sensitivity: Twice Sampling and Hybrid Clipping in Differential Privacy with Optimal Gaussian Noise and Application to Deep Learning
- arxiv url: http://arxiv.org/abs/2309.02672v2
- Date: Thu, 28 Sep 2023 12:49:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 23:09:29.260949
- Title: Geometry of Sensitivity: Twice Sampling and Hybrid Clipping in Differential Privacy with Optimal Gaussian Noise and Application to Deep Learning
- Title(参考訳): 感度の幾何学:最適ガウス雑音による差分プライバシーにおける二重サンプリングとハイブリッドクリッピングとディープラーニングへの応用
- Authors: Hanshen Xiao, Jun Wan, Srinivas Devadas,
- Abstract要約: 微分プライバシーにおける最適ランダム化の構成問題について検討する。
適切な選択された感度集合に対する最小摂動を求めることは、DP研究の中心的な問題である。
- 参考スコア(独自算出の注目度): 18.92302645198466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the fundamental problem of the construction of optimal randomization in Differential Privacy. Depending on the clipping strategy or additional properties of the processing function, the corresponding sensitivity set theoretically determines the necessary randomization to produce the required security parameters. Towards the optimal utility-privacy tradeoff, finding the minimal perturbation for properly-selected sensitivity sets stands as a central problem in DP research. In practice, l_2/l_1-norm clippings with Gaussian/Laplace noise mechanisms are among the most common setups. However, they also suffer from the curse of dimensionality. For more generic clipping strategies, the understanding of the optimal noise for a high-dimensional sensitivity set remains limited. In this paper, we revisit the geometry of high-dimensional sensitivity sets and present a series of results to characterize the non-asymptotically optimal Gaussian noise for R\'enyi DP (RDP). Our results are both negative and positive: on one hand, we show the curse of dimensionality is tight for a broad class of sensitivity sets satisfying certain symmetry properties; but if, fortunately, the representation of the sensitivity set is asymmetric on some group of orthogonal bases, we show the optimal noise bounds need not be explicitly dependent on either dimension or rank. We also revisit sampling in the high-dimensional scenario, which is the key for both privacy amplification and computation efficiency in large-scale data processing. We propose a novel method, termed twice sampling, which implements both sample-wise and coordinate-wise sampling, to enable Gaussian noises to fit the sensitivity geometry more closely. With closed-form RDP analysis, we prove twice sampling produces asymptotic improvement of the privacy amplification given an additional infinity-norm restriction, especially for small sampling rate.
- Abstract(参考訳): 微分プライバシーにおける最適ランダム化構築の根本的な問題について検討する。
処理関数のクリッピング戦略や追加特性により、対応する感度セットは、必要なセキュリティパラメータを生成するために必要なランダム化を理論的に決定する。
最適ユーティリティとプライバシのトレードオフに向けて、適切に選択された感度セットに対する最小限の摂動を求めることは、DP研究の中心的な問題である。
実際には、ガウス/ラプラスノイズ機構を持つl_2/l_1-ノルムクリッピングが最も一般的な設定である。
しかし、これも次元の呪いに苦しむ。
より一般的なクリッピング戦略については、高次元感度集合に対する最適雑音の理解は限定的である。
本稿では,高次元感度集合の幾何学を再検討し,R'enyi DP(RDP)の漸近的最適ガウス雑音を特徴付ける一連の結果を示す。
しかし、幸運なことに、この感度集合の表現が直交基底のある群で非対称であるなら、最適雑音境界は次元または階数に明示的に依存する必要はない。
また,大規模データ処理におけるプライバシ増幅と計算効率の両面での鍵となる,高次元シナリオにおけるサンプリングを再考する。
そこで本研究では,ガウス雑音を感度幾何に適合させるため,サンプルワイドサンプリングと座標ワイドサンプリングの両方を実装した2重サンプリングという新しい手法を提案する。
クローズドフォーム RDP 分析により、特に小さなサンプリングレートにおいて、追加の無限ノルム制限が与えられた場合、二重サンプリングは、プライバシー増幅の漸近的改善をもたらすことが証明された。
関連論文リスト
- Risk-Sensitive Diffusion for Perturbation-Robust Optimization [58.68233326265417]
スコア関数を持つものよりも、雑音のあるサンプルが別の目的関数を発生させることで、モデルが誤って最適化されることが示される。
リスクベクトルによってパラメータ化された微分方程式(SDE)の一種であるリスク感受性SDEを導入する。
ノイズのあるサンプルがガウス摂動によって引き起こされる場合のみ、ゼロ不安定測度が達成可能であることを証明する。
論文 参考訳(メタデータ) (2024-02-03T08:41:51Z) - One-Dimensional Deep Image Prior for Curve Fitting of S-Parameters from
Electromagnetic Solvers [57.441926088870325]
Deep Image Prior(ディープ・イメージ・プライオリ、ディープ・イメージ・プライオリ、DIP)は、ランダムなd畳み込みニューラルネットワークの重みを最適化し、ノイズや過度な測定値からの信号に適合させる技術である。
本稿では,Vector Fitting (VF) の実装に対して,ほぼすべてのテスト例において優れた性能を示す。
論文 参考訳(メタデータ) (2023-06-06T20:28:37Z) - Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。
我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。
本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
論文 参考訳(メタデータ) (2023-01-27T21:01:58Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - High-Dimensional Simulation Optimization via Brownian Fields and Sparse
Grids [14.15772050249329]
高次元シミュレーションの最適化は、非常に難しい。
本稿では,大域的最適解に収束する新しいサンプリングアルゴリズムを提案する。
提案アルゴリズムは,現実の典型的な代替案よりも劇的に優れていることを示す。
論文 参考訳(メタデータ) (2021-07-19T03:03:27Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Adaptive and Oblivious Randomized Subspace Methods for High-Dimensional
Optimization: Sharp Analysis and Lower Bounds [37.03247707259297]
2次統計が入力データを反映する相関ランダム行列をサンプリングすることにより、適切な適応部分空間を生成することができる。
ランダム化された近似の相対誤差は、データ行列のスペクトルの観点から厳密に特徴付けることができることを示した。
実験の結果,提案手法は様々な機械学習および最適化問題において,大幅な高速化を可能にすることがわかった。
論文 参考訳(メタデータ) (2020-12-13T13:02:31Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳(メタデータ) (2020-06-10T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。