論文の概要: Privacy-Utility Tradeoff of OLS with Random Projections
- arxiv url: http://arxiv.org/abs/2309.01243v1
- Date: Sun, 3 Sep 2023 19:07:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 20:42:51.407470
- Title: Privacy-Utility Tradeoff of OLS with Random Projections
- Title(参考訳): ランダムプロジェクションを用いたolsのプライバシー利用トレードオフ
- Authors: Yun Lu, Malik Magdon-Ismail, Yu Wei, Vassilis Zikas
- Abstract要約: 基本ML問題、線形常用最小二乗(OLS)、すなわち$ell$-regressionの差分プライバシー(DP)について検討する。
我々の重要な結果は、ALS問題に対するランダム化ソリューションであるALS (ALS) (Sarlos, 2006) がプライバシーを保護していることである。
ALSは、代替のプライベートOLSアルゴリズムと比較して、変更やノイズを発生させることなく、より優れたプライバシ/ユーティリティトレードオフを実現する。
- 参考スコア(独自算出の注目度): 8.316835880556104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the differential privacy (DP) of a core ML problem, linear ordinary
least squares (OLS), a.k.a. $\ell_2$-regression. Our key result is that the
approximate LS algorithm (ALS) (Sarlos, 2006), a randomized solution to the OLS
problem primarily used to improve performance on large datasets, also preserves
privacy. ALS achieves a better privacy/utility tradeoff, without modifications
or further noising, when compared to alternative private OLS algorithms which
modify and/or noise OLS. We give the first {\em tight} DP-analysis for the ALS
algorithm and the standard Gaussian mechanism (Dwork et al., 2014) applied to
OLS. Our methodology directly improves the privacy analysis of (Blocki et al.,
2012) and (Sheffet, 2019)) and introduces new tools which may be of independent
interest: (1) the exact spectrum of $(\epsilon, \delta)$-DP parameters (``DP
spectrum") for mechanisms whose output is a $d$-dimensional Gaussian, and (2)
an improved DP spectrum for random projection (compared to (Blocki et al.,
2012) and (Sheffet, 2019)).
All methods for private OLS (including ours) assume, often implicitly,
restrictions on the input database, such as bounds on leverage and residuals.
We prove that such restrictions are necessary. Hence, computing the privacy of
mechanisms such as ALS must estimate these database parameters, which can be
infeasible in big datasets. For more complex ML models, DP bounds may not even
be tractable. There is a need for blackbox DP-estimators (Lu et al., 2022)
which empirically estimate a data-dependent privacy. We demonstrate the
effectiveness of such a DP-estimator by empirically recovering a DP-spectrum
that matches our theory for OLS. This validates the DP-estimator in a
nontrivial ML application, opening the door to its use in more complex
nonlinear ML settings where theory is unavailable.
- Abstract(参考訳): 基本ML問題、線形常用最小二乗(OLS)、すなわち$\ell_2$-regressionの差分プライバシー(DP)について検討する。
我々の主要な結果は、ALSアルゴリズム (ALS) (Sarlos, 2006) が、主に大規模なデータセットのパフォーマンス向上に使用されるLS問題のランダム化ソリューションであり、プライバシも保護されていることである。
ALSは、OLSを修正または/またはノイズする代替のプライベートOLSアルゴリズムと比較して、変更やノイズを発生させることなく、より優れたプライバシ/ユーティリティトレードオフを実現する。
我々はALSアルゴリズムの最初のDP分析と標準ガウス機構(Dwork et al., 2014)をOLSに適用する。
本手法は, (blocki et al., 2012) と (sheffet, 2019) のプライバシ解析を直接改善し, (1) 出力が $d$-dimensional gaussian である機構に対して $(\epsilon, \delta)$-dp パラメータ (```dp spectrum") の正確なスペクトル, (2) ランダム投影のための dp スペクトルの改善 (blocki et al., 2012) と (sheffet, 2019) という,独立した関心を持つ新しいツールを導入する。
プライベートOLS(うちを含む)のすべてのメソッドは、しばしば暗黙的に、レバレッジと残差のバウンドのような入力データベースに制限を仮定します。
私たちはそのような制限が必要であることを証明します。
したがって、ALSのようなメカニズムのプライバシを計算するには、これらのデータベースパラメータを推定する必要がある。
より複雑なMLモデルでは、DP境界は引けないかもしれない。
データ依存プライバシを実証的に見積もるブラックボックスDP推定器(Lu et al., 2022)が必要である。
OLS理論と一致するDPスペクトルを実証的に復元することにより,そのようなDP推定器の有効性を実証する。
これは非自明なMLアプリケーションでDP推定器を検証し、理論が利用できないより複雑な非線形ML設定で使用するための扉を開く。
関連論文リスト
- How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳(メタデータ) (2024-03-26T13:02:43Z) - Synthesizing Tight Privacy and Accuracy Bounds via Weighted Model Counting [5.552645730505715]
2つの中核的な課題は、DPアルゴリズムの分布の表現的でコンパクトで効率的な符号化を見つけることである。
プライバシーと正確性に縛られた合成法を開発することで、最初の課題に対処する。
DPアルゴリズムに固有の対称性を活用するためのフレームワークを開発する。
論文 参考訳(メタデータ) (2024-02-26T19:29:46Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。
既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。
本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
論文 参考訳(メタデータ) (2023-11-04T04:43:47Z) - The Normalized Cross Density Functional: A Framework to Quantify
Statistical Dependence for Random Processes [6.625320950808605]
正規化クロス密度(NCD)と呼ばれる正定関数を用いて、2つのランダムプロセス(r.p.)間の統計的依存を測定する新しい手法を提案する。
NCDは2つのr.p.の確率密度関数から直接導出され、データ依存ヒルベルト空間、正規化クロス密度ヒルベルト空間(NCD-HS)を構成する。
我々は,FMCAがNCDの固有値と固有関数を直接実現したことを数学的に証明する。
論文 参考訳(メタデータ) (2022-12-09T02:12:41Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Shuffle Gaussian Mechanism for Differential Privacy [2.7564955518050693]
$$ epsilon(lambda) leq frac1lambda-1logleft(frace-da/2sigma2ndasum_substackk_+dotsc+k_n=lambda;k_nlambda!k_nlambda!k_nlambda!
論文 参考訳(メタデータ) (2022-06-20T04:54:16Z) - Dimension Independent Generalization of DP-SGD for Overparameterized
Smooth Convex Optimization [24.644583626705742]
本稿では,差分プライベート凸学習の一般化性能について考察する。
本稿では,Langevinアルゴリズムの収束解析を用いて,DP-SGDの差分プライバシー保証を伴う新たな一般化境界を求めることを実証する。
論文 参考訳(メタデータ) (2022-06-03T22:03:05Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳(メタデータ) (2021-07-04T06:55:45Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳(メタデータ) (2021-01-11T19:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。