論文の概要: Beyond the Mean: Differentially Private Prototypes for Private Transfer Learning

• arxiv url: http://arxiv.org/abs/2406.08039v1
• Date: Wed, 12 Jun 2024 09:41:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 17:34:43.170443
• Title: Beyond the Mean: Differentially Private Prototypes for Private Transfer Learning
• Title（参考訳）: プライベートトランスファー学習のための異なるプライベートプロトタイプ
• Authors: Dariush Wahdany, Matthew Jagielski, Adam Dziedzic, Franziska Boenisch,
• Abstract要約: 本稿では,個人間移動学習の新たなパラダイムとして,DPPL(differially Private Prototype Learning)を提案する。 DPPLは、埋め込み空間内の各プライベートクラスを表すプロトタイプを生成し、推論のために公開することができる。 エンコーダの事前トレーニング以上の公開データを活用すれば,プライバシユーティリティのトレードオフをさらに改善できることを示す。
• 参考スコア（独自算出の注目度）: 16.028575596905554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models have been shown to leak private information from their training datasets. Differential Privacy (DP), typically implemented through the differential private stochastic gradient descent algorithm (DP-SGD), has become the standard solution to bound leakage from the models. Despite recent improvements, DP-SGD-based approaches for private learning still usually struggle in the high privacy ($\varepsilon\le1)$ and low data regimes, and when the private training datasets are imbalanced. To overcome these limitations, we propose Differentially Private Prototype Learning (DPPL) as a new paradigm for private transfer learning. DPPL leverages publicly pre-trained encoders to extract features from private data and generates DP prototypes that represent each private class in the embedding space and can be publicly released for inference. Since our DP prototypes can be obtained from only a few private training data points and without iterative noise addition, they offer high-utility predictions and strong privacy guarantees even under the notion of pure DP. We additionally show that privacy-utility trade-offs can be further improved when leveraging the public data beyond pre-training of the encoder: in particular, we can privately sample our DP prototypes from the publicly available data points used to train the encoder. Our experimental evaluation with four state-of-the-art encoders, four vision datasets, and under different data and imbalancedness regimes demonstrate DPPL's high performance under strong privacy guarantees in challenging private learning setups.
• Abstract（参考訳）: 機械学習(ML)モデルは、トレーニングデータセットからプライベート情報を漏洩することが示されている。 ディファレンシャルプライバシ(DP)は、通常、ディファレンシャル・プライベート・確率勾配勾配勾配アルゴリズム(DP-SGD)によって実装され、モデルからのバウンド・リークの標準解となっている。 最近の改善にもかかわらず、DP-SGDベースのプライベートラーニングアプローチは、通常、高いプライバシ(\varepsilon\le1)と低いデータレジーム、プライベートトレーニングデータセットが不均衡な場合に、高いプライバシ(\varepsilon\le1)と低いデータレジームに苦しむ。 これらの制約を克服するため、我々は、個人間移動学習の新しいパラダイムとして、差分的プライベートプロトタイプ学習(DPPL)を提案する。 DPPLは、公開事前訓練されたエンコーダを利用して、プライベートデータから特徴を抽出し、埋め込み空間内の各プライベートクラスを表すDPプロトタイプを生成し、推論のために公開することができる。 我々のDPプロトタイプは、数個のプライベートトレーニングデータポイントからしか得られず、繰り返しノイズが加わらないため、純粋なDPの概念の下でも、高ユーティリティな予測と強力なプライバシ保証を提供する。 さらに、エンコーダの事前トレーニング以上の公開データを活用すれば、プライバシーとユーティリティのトレードオフをさらに改善できることを示す。 4つの最先端エンコーダ、4つのビジョンデータセット、異なるデータと不均衡な条件下での実験的な評価により、DPPLは、プライベート学習に挑戦する際の強力なプライバシー保証の下で高い性能を示す。

関連論文リスト

• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• Unlocking Accuracy and Fairness in Differentially Private Image Classification [43.53494043189235]
  差別化プライバシ(DP)は、プライバシ保護トレーニングのための金の標準フレームワークと考えられている。 DPを微調整した事前学習基礎モデルでは,非私的分類器と同様の精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:42:33Z)
• Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
  大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。 公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
  論文  参考訳（メタデータ） (2022-12-13T10:41:12Z)
• DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders [26.658723213776632]
  DP保証付き変分オートエンコーダ(VAE)のトレーニング機構であるDP$2$-VAEを提案する。 さまざまなプライバシ予算と評価指標の下で,ベースラインよりも優位性を示すために,画像データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-05T23:57:34Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Personalized PATE: Differential Privacy for Machine Learning with Individual Privacy Guarantees [1.2691047660244335]
  トレーニングデータ内に、パーソナライズされたプライバシ保証の異なるMLモデルのトレーニングを支援する3つの新しい方法を提案する。 実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-21T20:16:27Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。