論文の概要: Calibrating Noise for Group Privacy in Subsampled Mechanisms
- arxiv url: http://arxiv.org/abs/2408.09943v2
- Date: Sat, 24 Aug 2024 13:00:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 12:52:18.334440
- Title: Calibrating Noise for Group Privacy in Subsampled Mechanisms
- Title（参考訳）: サブサンプリング機構におけるグループプライバシの校正ノイズ
- Authors: Yangfan Jiang, Xinjian Luo, Yin Yang, Xiaokui Xiao,
- Abstract要約: グループプライバシ(GP)は、最大m人のグループの機密集約情報を保護することができる。
GPはしばしば後処理として扱われ、ほとんどのアプローチではブラックボックスとして扱われる。
本稿では,サブサンプルGP機構に対する厳密なプライバシ会計を提供する新しい分析フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 24.518597984169734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a group size m and a sensitive dataset D, group privacy (GP) releases information about D with the guarantee that the adversary cannot infer with high confidence whether the underlying data is D or a neighboring dataset D' that differs from D by m records. GP generalizes the well-established notion of differential privacy (DP) for protecting individuals' privacy; in particular, when m=1, GP reduces to DP. Compared to DP, GP is capable of protecting the sensitive aggregate information of a group of up to m individuals, e.g., the average annual income among members of a yacht club. Despite its longstanding presence in the research literature and its promising applications, GP is often treated as an afterthought, with most approaches first developing a DP mechanism and then using a generic conversion to adapt it for GP, treating the DP solution as a black box. As we point out in the paper, this methodology is suboptimal when the underlying DP solution involves subsampling, e.g., in the classic DP-SGD method for training deep learning models. In this case, the DP-to-GP conversion is overly pessimistic in its analysis, leading to low utility in the published results under GP. Motivated by this, we propose a novel analysis framework that provides tight privacy accounting for subsampled GP mechanisms. Instead of converting a black-box DP mechanism to GP, our solution carefully analyzes and utilizes the inherent randomness in subsampled mechanisms, leading to a substantially improved bound on the privacy loss with respect to GP. The proposed solution applies to a wide variety of foundational mechanisms with subsampling. Extensive experiments with real datasets demonstrate that compared to the baseline convert-from-blackbox-DP approach, our GP mechanisms achieve noise reductions of over an order of magnitude in several practical settings, including deep neural network training.
- Abstract（参考訳）: グループサイズmと機密データセットDとが与えられた場合、グループプライバシ(GP)は、基本データがDであるか、またはmレコードによってDと異なる隣接データセットD'であるかを高い信頼で推測できないことを保証して、Dに関する情報を公開する。
GPは個人のプライバシーを保護するために確立された差分プライバシー(DP)の概念を一般化する。
DPと比較して、GPは最大m人までの集団のセンシティブアグリゲーション情報(例えばヨットクラブの会員の平均年収)を保護することができる。
研究論文や将来性のある応用において長年存在するにもかかわらず、GPは後から考えるものとして扱われることが多く、ほとんどのアプローチはまずDP機構を開発し、次に汎用変換を用いてGPに適応し、DP溶液をブラックボックスとして扱う。
本稿で指摘されているように、この手法は、ディープラーニングモデルの訓練のための古典的なDP-SGD法において、基礎となるDPソリューションがサブサンプリングを含む場合、準最適である。
この場合、DP-to-GP変換はその解析において過度に悲観的であり、GPの下での公開結果の実用性は低くなる。
そこで本研究では,サブサンプリングGP機構に対する厳密なプライバシ会計を提供する新しい分析フレームワークを提案する。
提案手法は,ブラックボックスDP機構をGPに変換する代わりに,サブサンプリング機構の固有ランダム性を慎重に分析し,利用することにより,GPに対するプライバシ損失を大幅に改善する。
提案手法は, サブサンプリングを用いた多種多様な基礎機構に適用できる。
実データを用いた大規模な実験により,ニューラルネットワークの深層学習を含むいくつかの実践的な設定において,ベースライン変換-ブラックボックス-DPアプローチと比較して,GP機構が1桁以上のノイズ低減を実現することが示された。
関連論文リスト
- Noise-Aware Differentially Private Regression via Meta-Learning [25.14514068630219]
差別化プライバシ(DP)は、ユーザのプライバシを保護するための金の標準であるが、標準のDPメカニズムはパフォーマンスを著しく損なう。
この問題を緩和する1つのアプローチは、DPがプライベートデータで学習する前にシミュレーションデータ上でモデルを事前訓練することである。
本研究では、シミュレーションデータを用いて、畳み込み条件ニューラルネットワーク(ConvCNP)と改良された機能DPメカニズムを組み合わせたメタ学習モデルをトレーニングする。
論文 参考訳（メタデータ） (2024-06-12T18:11:24Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳（メタデータ） (2024-03-07T21:22:07Z) - Domain Invariant Learning for Gaussian Processes and Bayesian
Exploration [39.83530605880014]
そこで本研究では,確率を最小限に最適化したガウス過程(DIL-GP)の領域不変学習アルゴリズムを提案する。
数値実験により、複数の合成および実世界のデータセットの予測におけるDIL-GPの優位性を示す。
論文 参考訳（メタデータ） (2023-12-18T16:13:34Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳（メタデータ） (2022-10-18T07:03:14Z) - Differentially Private SGDA for Minimax Problems [83.57322009102973]
本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。
これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
論文 参考訳（メタデータ） (2022-01-22T13:05:39Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Gaussian Processes with Differential Privacy [3.934224774675743]
我々は、差分プライバシー(DP)を介して、ガウス過程(GP)に強力なプライバシー保護を加える。
我々は、スパースGP手法を用いて、既知の誘導点に関するプライベートな変分近似を公開することによってこれを達成した。
我々の実験は、十分な量のデータがあれば、強力なプライバシー保護下で正確なモデルを生成することができることを示した。
論文 参考訳（メタデータ） (2021-06-01T13:23:16Z) - Sparse Gaussian Process Variational Autoencoders [24.86751422740643]
既存のGP-DGMにおける推論のアプローチは、点に基づくスパースGP近似をサポートしない。
我々は,スパースGP近似のパラメータ化に部分的推論ネットワークを用いることで特徴付けられるスパースガウス過程変動オートエンコーダ(GP-VAE)を開発した。
論文 参考訳（メタデータ） (2020-10-20T10:19:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。