論文の概要: DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2208.03409v1
• Date: Fri, 5 Aug 2022 23:57:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 14:21:03.650968
• Title: DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders
• Title（参考訳）: DP$^2$-VAE:差分プライベート事前学習変分オートエンコーダ
• Authors: Dihong Jiang, Guojun Zhang, Mahdi Karami, Xi Chen, Yunfeng Shao, Yaoliang Yu
• Abstract要約: DP保証付き変分オートエンコーダ(VAE)のトレーニング機構であるDP$2$-VAEを提案する。 さまざまなプライバシ予算と評価指標の下で,ベースラインよりも優位性を示すために,画像データセットに関する広範な実験を行った。
• 参考スコア（独自算出の注目度）: 26.658723213776632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning systems achieve great success when trained on large datasets. However, these datasets usually contain sensitive information (e.g. medical records, face images), leading to serious privacy concerns. Differentially private generative models (DPGMs) emerge as a solution to circumvent such privacy concerns by generating privatized sensitive data. Similar to other differentially private (DP) learners, the major challenge for DPGM is also how to achieve a subtle balance between utility and privacy. We propose DP$^2$-VAE, a novel training mechanism for variational autoencoders (VAE) with provable DP guarantees and improved utility via \emph{pre-training on private data}. Under the same DP constraints, DP$^2$-VAE minimizes the perturbation noise during training, and hence improves utility. DP$^2$-VAE is very flexible and easily amenable to many other VAE variants. Theoretically, we study the effect of pretraining on private data. Empirically, we conduct extensive experiments on image datasets to illustrate our superiority over baselines under various privacy budgets and evaluation metrics.
• Abstract（参考訳）: 現代の機械学習システムは、大規模なデータセットでトレーニングすることで大きな成功を収める。 しかしながら、これらのデータセットは通常機密情報(医療記録、顔画像など)を含んでおり、深刻なプライバシー上の懸念を引き起こす。 個人化された機密データを生成することにより、プライバシー問題を回避するソリューションとして、微分プライベート生成モデル(DPGM)が出現する。 他の微分プライベート(DP)学習者と同様に、DPGMの最大の課題は、ユーティリティとプライバシの微妙なバランスを達成する方法である。 提案するDP$^2$-VAEは,可変オートエンコーダ(VAE)のための新しいトレーニング機構であり,DP保証が保証され,プライベートデータ上でのemph{pre-trainingによる利便性が向上する。 同じDP制約の下では、DP$^2$-VAEはトレーニング中の摂動ノイズを最小限に抑え、実用性を向上させる。 DP$^2$-VAEは非常に柔軟で、他の多くのVAE変種にも容易に対応できる。 理論的には,事前学習が個人データに与える影響について検討する。 実験的に、さまざまなプライバシー予算と評価指標の下で、ベースラインよりも優位性を示すために、画像データセットに関する広範な実験を行う。

関連論文リスト

• Beyond the Mean: Differentially Private Prototypes for Private Transfer Learning [16.028575596905554]
  本稿では,個人間移動学習の新たなパラダイムとして,DPPL(differially Private Prototype Learning)を提案する。 DPPLは、埋め込み空間内の各プライベートクラスを表すプロトタイプを生成し、推論のために公開することができる。 エンコーダの事前トレーニング以上の公開データを活用すれば,プライバシユーティリティのトレードオフをさらに改善できることを示す。
  論文  参考訳（メタデータ） (2024-06-12T09:41:12Z)
• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Unlocking Accuracy and Fairness in Differentially Private Image Classification [43.53494043189235]
  差別化プライバシ(DP)は、プライバシ保護トレーニングのための金の標準フレームワークと考えられている。 DPを微調整した事前学習基礎モデルでは,非私的分類器と同様の精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:42:33Z)
• Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis Testing: A Lesson From Fano [83.5933307263932]
  本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。 基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
  論文  参考訳（メタデータ） (2022-10-24T23:50:12Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing [0.0]
  DPlis--Differentially Private Learning wIth Smoothingを提案します。 DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-02T06:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。