論文の概要: The Normal Distributions Indistinguishability Spectrum and its
Application to Privacy-Preserving Machine Learning
- arxiv url: http://arxiv.org/abs/2309.01243v2
- Date: Tue, 5 Mar 2024 21:23:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 18:01:02.579980
- Title: The Normal Distributions Indistinguishability Spectrum and its
Application to Privacy-Preserving Machine Learning
- Title（参考訳）: 正規分布の識別不能スペクトルとプライバシ保存機械学習への応用
- Authors: Yun Lu, Malik Magdon-Ismail, Yu Wei, Vassilis Zikas
- Abstract要約: ビッグデータ分析では、ランダムなスケッチ/アグリゲーションアルゴリズムを使用して、高次元データの処理を可能にすることが多い。
本研究では,非識別性スペクトル定理の正規分布を理論的に証明する。
我々の新しいDPメカニズムは、基礎となるアルゴリズムのランダム性を生かして、優れたプライバシー/ユーティリティトレードオフを実現する。
- 参考スコア（独自算出の注目度）: 8.316835880556104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To achieve differential privacy (DP) one typically randomizes the output of
the underlying query. In big data analytics, one often uses randomized
sketching/aggregation algorithms to make processing high-dimensional data
tractable. Intuitively, such machine learning (ML) algorithms should provide
some inherent privacy, yet most if not all existing DP mechanisms do not
leverage this inherent randomness, resulting in potentially redundant noising.
The motivating question of our work is:
(How) can we improve the utility of DP mechanisms for randomized ML queries,
by leveraging the randomness of the query itself?
Towards a (positive) answer, we prove the Normal Distributions
Indistinguishability Spectrum Theorem (in short, NDIS Theorem), a theoretical
result with far-reaching practical implications. In a nutshell, NDIS is a
closed-form analytic computation for the
$(\epsilon,\delta)$-indistinguishability-spectrum (in short,
$(\epsilon,\delta)$-IS) of two arbitrary (multi-dimensional) normal
distributions $X$ and $Y$, i.e., the optimal $\delta$ (for any given
$\epsilon$) such that $X$ and $Y$ are ($\epsilon,\delta$)-close according to
the DP distance. The NDIS theorem (1) yields efficient estimators for the above
IS, and (2) allows us to analyze DP-mechanisms with normally-distributed
outputs, as well as more general mechanisms by leveraging their behavior on
large inputs.
We apply the NDIS theorem to derive DP mechanisms for queries with
normally-distributed outputs -- i.e., Gaussian Random Projections (RP) -- and
for more general queries -- i.e., Ordinary Least Squares (OLS). Both RP and OLS
are highly relevant in data analytics. Our new DP mechanisms achieve superior
privacy/utility trade-offs by leveraging the randomness of the underlying
algorithms, and identifies, for the first time, the range of
$(\epsilon,\delta)$ for which no additional noising is needed.
- Abstract（参考訳）: 差分プライバシー(DP)を達成するには、一般に基礎となるクエリの出力をランダムにする。
ビッグデータ分析では、ランダム化されたスケッチ/アグリゲーションアルゴリズムを使用して、高次元データの処理を可能にすることが多い。
直感的には、そのような機械学習(ML)アルゴリズムは固有のプライバシーを提供するべきであるが、ほとんどの場合、既存のDPメカニズムがこの固有のランダム性を利用していないため、潜在的に冗長なノイズが発生する。
クエリ自体のランダム性を活用することで、(どのように)ランダム化されたmlクエリに対するdpメカニズムの有用性を向上させることができるのか?
正の解を求めるために,NDIS理論に基づく正規分布独立性スペクトル定理(NDIS理論)を証明した。
簡単に言えば、NDIS は任意の(多重次元)正規分布の $(\epsilon,\delta)$-indistinguishability-spectrum (略して $(\epsilon,\delta)$-IS) に対する閉形式解析計算である。
ndis定理(1)は、上記の場合の効率的な推定子を与え、(2)正規分布アウトプットを用いたdp-メカニズムの解析を可能にするとともに、より一般的な機構を大規模入力の振る舞いに活用できる。
NDIS定理を適用し、正規分布の出力を持つクエリー、すなわちガウスランダム射影(RP)、およびより一般的なクエリー、すなわち通常最小正方形(OLS)に対するDP機構を導出する。
rpとolsはどちらもデータ分析に非常に関係がある。
私たちの新しいdpメカニズムは、基礎となるアルゴリズムのランダム性を利用して、優れたプライバシ/有効性トレードオフを実現し、追加のノージングを必要としない$(\epsilon,\delta)$の範囲を初めて特定します。
関連論文リスト
- How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Synthesizing Tight Privacy and Accuracy Bounds via Weighted Model Counting [5.552645730505715]
2つの中核的な課題は、DPアルゴリズムの分布の表現的でコンパクトで効率的な符号化を見つけることである。
プライバシーと正確性に縛られた合成法を開発することで、最初の課題に対処する。
DPアルゴリズムに固有の対称性を活用するためのフレームワークを開発する。
論文 参考訳（メタデータ） (2024-02-26T19:29:46Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。
既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。
本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
論文 参考訳（メタデータ） (2023-11-04T04:43:47Z) - The Normalized Cross Density Functional: A Framework to Quantify
Statistical Dependence for Random Processes [6.625320950808605]
正規化クロス密度(NCD)と呼ばれる正定関数を用いて、2つのランダムプロセス(r.p.)間の統計的依存を測定する新しい手法を提案する。
NCDは2つのr.p.の確率密度関数から直接導出され、データ依存ヒルベルト空間、正規化クロス密度ヒルベルト空間(NCD-HS)を構成する。
我々は,FMCAがNCDの固有値と固有関数を直接実現したことを数学的に証明する。
論文 参考訳（メタデータ） (2022-12-09T02:12:41Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Shuffle Gaussian Mechanism for Differential Privacy [2.7564955518050693]
$$ epsilon(lambda) leq frac1lambda-1logleft(frace-da/2sigma2ndasum_substackk_+dotsc+k_n=lambda;k_nlambda!k_nlambda!k_nlambda!
論文 参考訳（メタデータ） (2022-06-20T04:54:16Z) - Dimension Independent Generalization of DP-SGD for Overparameterized
Smooth Convex Optimization [24.644583626705742]
本稿では,差分プライベート凸学習の一般化性能について考察する。
本稿では,Langevinアルゴリズムの収束解析を用いて,DP-SGDの差分プライバシー保証を伴う新たな一般化境界を求めることを実証する。
論文 参考訳（メタデータ） (2022-06-03T22:03:05Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。