論文の概要: Personalized DP-SGD using Sampling Mechanisms
- arxiv url: http://arxiv.org/abs/2305.15165v1
- Date: Wed, 24 May 2023 13:56:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 15:28:42.137001
- Title: Personalized DP-SGD using Sampling Mechanisms
- Title（参考訳）: サンプリング機構を用いたパーソナライズDP-SGD
- Authors: Geon Heo, Junseok Seo, and Steven Euijong Whang
- Abstract要約: Phi$,$Delta$)- Personalized Differential Privacy (($Phi$,$Delta$)- PDP。
提案アルゴリズムは,複数ラウンドのパーソナライズされたサンプリング機構を使用し,DP-SGDイテレーションに組み込む。
実データを用いた実験の結果,提案アルゴリズムはDP-SGDとDP-SGDと既存のPDP機構の単純な組み合わせよりも優れていた。
- 参考スコア（独自算出の注目度）: 5.50042037663784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized privacy becomes critical in deep learning for Trustworthy AI.
While Differentially Private Stochastic Gradient Descent (DP-SGD) is widely
used in deep learning methods supporting privacy, it provides the same level of
privacy to all individuals, which may lead to overprotection and low utility.
In practice, different users may require different privacy levels, and the
model can be improved by using more information about the users with lower
privacy requirements. There are also recent works on differential privacy of
individuals when using DP-SGD, but they are mostly about individual privacy
accounting and do not focus on satisfying different privacy levels. We thus
extend DP-SGD to support a recent privacy notion called
($\Phi$,$\Delta$)-Personalized Differential Privacy (($\Phi$,$\Delta$)-PDP),
which extends an existing PDP concept called $\Phi$-PDP. Our algorithm uses a
multi-round personalized sampling mechanism and embeds it within the DP-SGD
iterations. Experiments on real datasets show that our algorithm outperforms
DP-SGD and simple combinations of DP-SGD with existing PDP mechanisms in terms
of model performance and efficiency due to its embedded sampling mechanism.
- Abstract（参考訳）: 個人化されたプライバシは、信頼できるAIのディープラーニングにおいて重要になる。
Differentially Private Stochastic Gradient Descent (DP-SGD)は、プライバシーをサポートするディープラーニング手法で広く使われているが、すべての個人に同じレベルのプライバシーを提供するため、過剰な保護と低ユーティリティにつながる可能性がある。
実際には、異なるユーザが異なるプライバシーレベルを必要とする場合があり、プライバシー要件の低いユーザに関するより多くの情報を使用することで、モデルを改善することができる。
dp-sgdを使用する場合、個人の差分プライバシーに関する最近の研究もあるが、それらは主に個人のプライバシー会計であり、異なるプライバシーレベルを満たすことに注力していない。
したがって、DP-SGDを拡張して、最近のプライバシー概念である$\Phi$,$\Delta$)-Personalized Differential Privacy (($\Phi$,$\Delta$)-PDPをサポートする。
本アルゴリズムはマルチラウンドのパーソナライズされたサンプリング機構を用いてdp-sgdイテレーションに組み込む。
実データを用いた実験により,本アルゴリズムはDP-SGDとDP-SGDと既存のPDP機構とを組込みサンプリング機構によるモデル性能と効率の観点から比較した。
関連論文リスト
- Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。
提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文 参考訳（メタデータ） (2024-10-22T15:22:53Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Personalized Differential Privacy for Ridge Regression [3.4751583941317166]
我々はPDP-OP(Personalized-DP Output Perturbation Method)を導入し、データポイントごとのプライバシレベルに応じてリッジ回帰モデルのトレーニングを可能にする。
我々は、PDP-OPの厳密なプライバシー証明と、結果モデルの正確性を保証する。
我々はPDP-OPがJorgensenらのパーソナライズされたプライバシー技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-01-30T16:00:14Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Conciliating Privacy and Utility in Data Releases via Individual Differential Privacy and Microaggregation [4.287502453001108]
$epsilon$-Differential Privacy(DP)は、強力なプライバシ保証を提供するよく知られたプライバシモデルである。
被験者にDPと同じ保護を提供しながらデータ歪みを低減させるiDP ($epsilon$-individual differential privacy) を提案する。
本稿では,2次データ解析の精度を著しく低下させることのない保護データを提供しながら,我々のアプローチが強力なプライバシ(小額のepsilon$)を提供することを示す実験について報告する。
論文 参考訳（メタデータ） (2023-12-21T10:23:18Z) - Have it your way: Individualized Privacy Assignment for DP-SGD [33.758209383275926]
我々は、すべての点で均一なプライバシー予算を設定することは、一部のユーザーにとって過度に保守的であるか、あるいは他のユーザーにとって十分な保護がないかを論じる。
プライバシー予算の個別化を通じて、これらの選好を捉えます。
これは、プライバシーとユーティリティのトレードオフを実証的に改善する。
論文 参考訳（メタデータ） (2023-03-29T22:18:47Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳（メタデータ） (2022-10-18T07:03:14Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。