論文の概要: Geometry of Sensitivity: Twice Sampling and Hybrid Clipping in Differential Privacy with Optimal Gaussian Noise and Application to Deep Learning

• arxiv url: http://arxiv.org/abs/2309.02672v2
• Date: Thu, 28 Sep 2023 12:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 23:09:29.260949
• Title: Geometry of Sensitivity: Twice Sampling and Hybrid Clipping in Differential Privacy with Optimal Gaussian Noise and Application to Deep Learning
• Title（参考訳）: 感度の幾何学:最適ガウス雑音による差分プライバシーにおける二重サンプリングとハイブリッドクリッピングとディープラーニングへの応用
• Authors: Hanshen Xiao, Jun Wan, Srinivas Devadas,
• Abstract要約: 微分プライバシーにおける最適ランダム化の構成問題について検討する。 適切な選択された感度集合に対する最小摂動を求めることは、DP研究の中心的な問題である。
• 参考スコア（独自算出の注目度）: 18.92302645198466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the fundamental problem of the construction of optimal randomization in Differential Privacy. Depending on the clipping strategy or additional properties of the processing function, the corresponding sensitivity set theoretically determines the necessary randomization to produce the required security parameters. Towards the optimal utility-privacy tradeoff, finding the minimal perturbation for properly-selected sensitivity sets stands as a central problem in DP research. In practice, l_2/l_1-norm clippings with Gaussian/Laplace noise mechanisms are among the most common setups. However, they also suffer from the curse of dimensionality. For more generic clipping strategies, the understanding of the optimal noise for a high-dimensional sensitivity set remains limited. In this paper, we revisit the geometry of high-dimensional sensitivity sets and present a series of results to characterize the non-asymptotically optimal Gaussian noise for R\'enyi DP (RDP). Our results are both negative and positive: on one hand, we show the curse of dimensionality is tight for a broad class of sensitivity sets satisfying certain symmetry properties; but if, fortunately, the representation of the sensitivity set is asymmetric on some group of orthogonal bases, we show the optimal noise bounds need not be explicitly dependent on either dimension or rank. We also revisit sampling in the high-dimensional scenario, which is the key for both privacy amplification and computation efficiency in large-scale data processing. We propose a novel method, termed twice sampling, which implements both sample-wise and coordinate-wise sampling, to enable Gaussian noises to fit the sensitivity geometry more closely. With closed-form RDP analysis, we prove twice sampling produces asymptotic improvement of the privacy amplification given an additional infinity-norm restriction, especially for small sampling rate.
• Abstract（参考訳）: 微分プライバシーにおける最適ランダム化構築の根本的な問題について検討する。 処理関数のクリッピング戦略や追加特性により、対応する感度セットは、必要なセキュリティパラメータを生成するために必要なランダム化を理論的に決定する。 最適ユーティリティとプライバシのトレードオフに向けて、適切に選択された感度セットに対する最小限の摂動を求めることは、DP研究の中心的な問題である。 実際には、ガウス/ラプラスノイズ機構を持つl_2/l_1-ノルムクリッピングが最も一般的な設定である。 しかし、これも次元の呪いに苦しむ。 より一般的なクリッピング戦略については、高次元感度集合に対する最適雑音の理解は限定的である。 本稿では,高次元感度集合の幾何学を再検討し,R'enyi DP(RDP)の漸近的最適ガウス雑音を特徴付ける一連の結果を示す。 しかし、幸運なことに、この感度集合の表現が直交基底のある群で非対称であるなら、最適雑音境界は次元または階数に明示的に依存する必要はない。 また,大規模データ処理におけるプライバシ増幅と計算効率の両面での鍵となる,高次元シナリオにおけるサンプリングを再考する。 そこで本研究では,ガウス雑音を感度幾何に適合させるため,サンプルワイドサンプリングと座標ワイドサンプリングの両方を実装した2重サンプリングという新しい手法を提案する。 クローズドフォーム RDP 分析により、特に小さなサンプリングレートにおいて、追加の無限ノルム制限が与えられた場合、二重サンプリングは、プライバシー増幅の漸近的改善をもたらすことが証明された。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Some Constructions of Private, Efficient, and Optimal $K$-Norm and Elliptic Gaussian Noise [54.34628844260993]
  微分プライベートな計算は、しばしば$d$次元統計学の感度に束縛されて始まる。 純粋な微分プライバシーのために、$K$-normメカニズムは統計学の感度空間に合わせた規範を用いてこのアプローチを改善することができる。 本稿では,総和,数,投票の単純な統計量について両問題を解く。
  論文  参考訳（メタデータ） (2023-09-27T17:09:36Z)
• One-Dimensional Deep Image Prior for Curve Fitting of S-Parameters from Electromagnetic Solvers [57.441926088870325]
  Deep Image Prior(ディープ・イメージ・プライオリ、ディープ・イメージ・プライオリ、DIP)は、ランダムなd畳み込みニューラルネットワークの重みを最適化し、ノイズや過度な測定値からの信号に適合させる技術である。 本稿では,Vector Fitting (VF) の実装に対して,ほぼすべてのテスト例において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-06T20:28:37Z)
• Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
  そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。 我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。 本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-27T21:01:58Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• High-Dimensional Simulation Optimization via Brownian Fields and Sparse Grids [14.15772050249329]
  高次元シミュレーションの最適化は、非常に難しい。 本稿では,大域的最適解に収束する新しいサンプリングアルゴリズムを提案する。 提案アルゴリズムは,現実の典型的な代替案よりも劇的に優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T03:03:27Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Adaptive and Oblivious Randomized Subspace Methods for High-Dimensional Optimization: Sharp Analysis and Lower Bounds [37.03247707259297]
  2次統計が入力データを反映する相関ランダム行列をサンプリングすることにより、適切な適応部分空間を生成することができる。 ランダム化された近似の相対誤差は、データ行列のスペクトルの観点から厳密に特徴付けることができることを示した。 実験の結果,提案手法は様々な機械学習および最適化問題において,大幅な高速化を可能にすることがわかった。
  論文  参考訳（メタデータ） (2020-12-13T13:02:31Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。