論文の概要: Public Data-Assisted Mirror Descent for Private Model Training
- arxiv url: http://arxiv.org/abs/2112.00193v1
- Date: Wed, 1 Dec 2021 00:21:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 16:03:57.976686
- Title: Public Data-Assisted Mirror Descent for Private Model Training
- Title（参考訳）: プライベートモデルトレーニングのための公開データ支援ミラー降下
- Authors: Ehsan Amid, Arun Ganesh, Rajiv Mathews, Swaroop Ramaswamy, Shuang
Song, Thomas Steinke, Vinith M. Suriyakumar, Om Thakkar, Abhradeep Thakurta
- Abstract要約: 差分プライベート(DP)モデルトレーニングにおけるプライバシ/ユーティリティトレードオフを改善するために,公開データを使用することの問題点を再考する。
我々は,従来のDP-SGDやDP-FedAvgよりもDP-SGDやDP-FedAvgよりもDP-FedAvgの方が大幅に改善されていることを示す。
- 参考スコア（独自算出の注目度）: 23.717811604829148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We revisit the problem of using public data to improve the privacy/utility
trade-offs for differentially private (DP) model training. Here, public data
refers to auxiliary data sets that have no privacy concerns. We consider public
data that is from the same distribution as the private training data.
For convex losses, we show that a variant of Mirror Descent provides
population risk guarantees which are independent of the dimension of the model
($p$). Specifically, we apply Mirror Descent with the loss generated by the
public data as the mirror map, and using DP gradients of the loss generated by
the private (sensitive) data. To obtain dimension independence, we require
$G_Q^2 \leq p$ public data samples, where $G_Q$ is a measure of the isotropy of
the loss function. We further show that our algorithm has a natural ``noise
stability'' property: If around the current iterate the public loss satisfies
$\alpha_v$-strong convexity in a direction $v$, then using noisy gradients
instead of the exact gradients shifts our next iterate in the direction $v$ by
an amount proportional to $1/\alpha_v$ (in contrast with DP-SGD, where the
shift is isotropic). Analogous results in prior works had to explicitly learn
the geometry using the public data in the form of preconditioner matrices. Our
method is also applicable to non-convex losses, as it does not rely on
convexity assumptions to ensure DP guarantees.
We demonstrate the empirical efficacy of our algorithm by showing
privacy/utility trade-offs on linear regression, deep learning benchmark
datasets (WikiText-2, CIFAR-10, and EMNIST), and in federated learning
(StackOverflow). We show that our algorithm not only significantly improves
over traditional DP-SGD and DP-FedAvg, which do not have access to public data,
but also improves over DP-SGD and DP-FedAvg on models that have been
pre-trained with the public data to begin with.
- Abstract（参考訳）: 差分プライベート(DP)モデルトレーニングにおけるプライバシ/ユーティリティトレードオフを改善するために,公開データを使用することの問題点を再考する。
ここでは、公開データはプライバシーの懸念のない補助データセットを指す。
我々は,プライベートトレーニングデータと同分布の公開データについて考察する。
凸損失の場合、ミラー降下の変種は、モデル(p$)の次元に依存しない人口のリスク保証を提供する。
具体的には,公開データから発生する損失をミラーマップとしてミラー降下を行い,プライベート(敏感)データから発生する損失のdp勾配を用いてミラー降下を行う。
次元独立性を得るためには、公開データサンプルである $g_q^2 \leq p$ が必要であり、ここでは$g_q$ は損失関数の等方性の測定値である。
さらに、我々のアルゴリズムは自然の「ノイズ安定性」の性質を持っていることを示している: 現在の損失の周囲が$\alpha_v$-strong convexityをある方向で満たすなら、正確な勾配の代わりにノイズ勾配を用いることで、次の繰り返しを1/\alpha_v$に比例して$v$にシフトする(DP-SGDとは対照的に、シフトは等方的である)。
先行研究における類似の結果は、前条件行列の形で公開データを用いて明示的に幾何学を学ぶ必要があった。
提案手法は,DP保証を保証するために凸性仮定に依存しないため,非凸性損失にも適用可能である。
線形回帰、ディープラーニングベンチマークデータセット(WikiText-2, CIFAR-10, EMNIST)、および連合学習(StackOverflow)におけるプライバシーとユーティリティのトレードオフを示すことによって、アルゴリズムの実証的有効性を示す。
提案手法は,公開データにアクセスできない従来のdp-sgdおよびdp-fedavgに対して大幅に改善するだけでなく,まずは公開データで事前学習したモデルに対してdp-sgdおよびdp-fedavgよりも改善することを示す。
関連論文リスト
- Probing the Transition to Dataset-Level Privacy in ML Models Using an
Output-Specific and Data-Resolved Privacy Profile [23.05994842923702]
差分プライバシーメカニズムを用いてデータセットでトレーニングされたモデルが、近隣のデータセットでトレーニングされた結果の分布によってカバーされる範囲を定量化するプライバシー指標について検討する。
プライバシプロファイルは、近隣のディストリビューションで発生する不明瞭性への観察された遷移を、$epsilon$の減少として調査するために使用できることを示す。
論文 参考訳（メタデータ） (2023-06-27T20:39:07Z) - Optimal Differentially Private Model Training with Public Data [13.16576244790641]
差分プライバシー(DP)は、機械学習モデルのトレーニングがプライベートデータをリークしないことを保証する。
実際には、プライバシーの懸念のない補助的な公開データにアクセスできます。
論文 参考訳（メタデータ） (2023-06-26T20:40:29Z) - Private Ad Modeling with DP-SGD [58.670969449674395]
プライバシ保護MLにおけるよく知られたアルゴリズムは、差分プライベート勾配降下(DP-SGD)である
本研究では,DP-SGDをクリックスルー率,変換率,変換イベント数などの広告モデリングタスクに適用する。
私たちの研究は、DP-SGDが広告モデリングタスクのプライバシーとユーティリティの両方を提供できることを実証的に実証した初めてのものです。
論文 参考訳（メタデータ） (2022-11-21T22:51:16Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳（メタデータ） (2022-10-24T23:50:12Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Pre-trained Perceptual Features Improve Differentially Private Image
Generation [8.659595986100738]
差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。
私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。
私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
論文 参考訳（メタデータ） (2022-05-25T16:46:01Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Differentially Private Federated Learning via Inexact ADMM with Multiple
Local Updates [0.0]
我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。
当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
論文 参考訳（メタデータ） (2022-02-18T19:58:47Z) - Differentially Private Federated Learning via Inexact ADMM [0.0]
差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。
我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
論文 参考訳（メタデータ） (2021-06-11T02:28:07Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。