論文の概要: The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning
- arxiv url: http://arxiv.org/abs/2309.01243v3
- Date: Fri, 21 Jun 2024 16:54:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 20:27:44.282743
- Title: The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning
- Title（参考訳）: 正規分布の識別不能スペクトルとプライバシ保護機械学習への応用
- Authors: Yun Lu, Malik Magdon-Ismail, Yu Wei, Vassilis Zikas,
- Abstract要約: 差分プライバシーは、プライバシに敏感なデータに対する機械学習(ML)の最も一般的な方法である。
ビッグデータ分析では、ランダム化されたスケッチ/アグリゲーションアルゴリズムを使用して、高次元データの処理を可能にすることが多い。
- 参考スコア（独自算出の注目度）: 7.61316504036937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differential Privacy (DP) (and its variants) is the most common method for machine learning (ML) on privacy-sensitive data. In big data analytics, one often uses randomized sketching/aggregation algorithms to make processing high-dimensional data tractable. Intuitively, such ML algorithms should provide some inherent privacy, yet most existing DP mechanisms do not leverage or under-utilize this inherent randomness, resulting in potentially redundant noising. The motivating question of our work is: (How) can we improve the utility of DP mechanisms for randomized ML queries, by leveraging the randomness of the query itself? Towards a (positive) answer, our key contribution is (proving) what we call the NDIS theorem, a theoretical result with several practical implications. In a nutshell, NDIS is a closed-form analytic computation for the (varepsilon,delta)-indistinguishability-spectrum (IS) of two arbitrary normal distributions N1 and N2, i.e., the optimal delta (for any given varepsilon) such that N1 and N2 are (varepsilon,delta)-close according to the DP distance. The importance of the NDIS theorem lies in that (1) it yields efficient estimators for IS, and (2) it allows us to analyze DP-mechanism with normally-distributed outputs, as well as more general mechanisms by leveraging their behavior on large inputs. We apply the NDIS theorem to derive DP mechanisms for queries with normally-distributed outputs--i.e., Gaussian Random Projections (RP)--and for more general queries--i.e., Ordinary Least Squares (OLS). Compared to existing techniques, our new DP mechanisms achieve superior privacy/utility trade-offs by leveraging the randomness of the underlying algorithms. We then apply the NDIS theorem to a data-driven DP notion--in particular relative DP introduced by Lu et al. [S&P 2024]. Our method identifies the range of (varepsilon,delta) for which no additional noising is needed.
- Abstract（参考訳）: 差分プライバシー(DP)は、プライバシに敏感なデータに対する機械学習(ML)の最も一般的な方法である。
ビッグデータ分析では、ランダム化されたスケッチ/アグリゲーションアルゴリズムを使用して、高次元データの処理を可能にすることが多い。
直感的には、そのようなMLアルゴリズムは固有のプライバシを提供するべきであるが、既存のDPメカニズムの多くは、この固有のランダム性を利用していない。
クエリ自体のランダム性を活用して、ランダム化されたMLクエリに対するDPメカニズムの有用性をどのように改善できるか。
肯定的な)答えに向けて、我々の重要な貢献は、我々が NDIS 定理と呼ぶもの(証明)であり、これはいくつかの実践的な意味を持つ理論的な結果である。
簡単に言えば、NDISは2つの任意の正規分布 N1 と N2 の (varepsilon,delta)-indistinguishability-spectrum (IS) に対する閉形式解析計算であり、すなわち N1 と N2 が DP 距離に応じて (varepsilon,delta)-クロースであるような最適デルタ (任意の varepsilon に対して) である。
NDIS定理の重要性は、(1)ISの効率的な推定値が得られること、(2)通常分散出力でDP力学を解析できること、そして、大きな入力でそれらの振る舞いを活用することでより一般的なメカニズムを利用できることにある。
我々はNDIS定理を適用し、正規分布の出力を持つクエリ、すなわちガウスランダム射影(RP)に対してDP機構を導出し、より一般的なクエリ、すなわち通常最小方形(OLS)を導出する。
既存の手法と比較して,提案するDPメカニズムは,基礎となるアルゴリズムのランダム性を利用して,より優れたプライバシー/ユーティリティトレードオフを実現する。
次に、NDIS定理をデータ駆動DPの概念、特に Lu et al [S&P 2024] によって導入された相対DPに適用する。
本手法では,付加的なノイズ発生を必要としない (varepsilon,delta) の範囲を同定する。
関連論文リスト
- How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Synthesizing Tight Privacy and Accuracy Bounds via Weighted Model Counting [5.552645730505715]
2つの中核的な課題は、DPアルゴリズムの分布の表現的でコンパクトで効率的な符号化を見つけることである。
プライバシーと正確性に縛られた合成法を開発することで、最初の課題に対処する。
DPアルゴリズムに固有の対称性を活用するためのフレームワークを開発する。
論文 参考訳（メタデータ） (2024-02-26T19:29:46Z) - Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。
既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。
本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
論文 参考訳（メタデータ） (2023-11-04T04:43:47Z) - The Normalized Cross Density Functional: A Framework to Quantify
Statistical Dependence for Random Processes [6.625320950808605]
正規化クロス密度(NCD)と呼ばれる正定関数を用いて、2つのランダムプロセス(r.p.)間の統計的依存を測定する新しい手法を提案する。
NCDは2つのr.p.の確率密度関数から直接導出され、データ依存ヒルベルト空間、正規化クロス密度ヒルベルト空間(NCD-HS)を構成する。
我々は,FMCAがNCDの固有値と固有関数を直接実現したことを数学的に証明する。
論文 参考訳（メタデータ） (2022-12-09T02:12:41Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Shuffle Gaussian Mechanism for Differential Privacy [2.7564955518050693]
$$ epsilon(lambda) leq frac1lambda-1logleft(frace-da/2sigma2ndasum_substackk_+dotsc+k_n=lambda;k_nlambda!k_nlambda!k_nlambda!
論文 参考訳（メタデータ） (2022-06-20T04:54:16Z) - Dimension Independent Generalization of DP-SGD for Overparameterized
Smooth Convex Optimization [24.644583626705742]
本稿では,差分プライベート凸学習の一般化性能について考察する。
本稿では,Langevinアルゴリズムの収束解析を用いて,DP-SGDの差分プライバシー保証を伴う新たな一般化境界を求めることを実証する。
論文 参考訳（メタデータ） (2022-06-03T22:03:05Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。