論文の概要: Differentially Private Prototypes for Imbalanced Transfer Learning

• arxiv url: http://arxiv.org/abs/2406.08039v2
• Date: Mon, 16 Dec 2024 18:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:50:57.112011
• Title: Differentially Private Prototypes for Imbalanced Transfer Learning
• Title（参考訳）: 不均衡移動学習のための微分プライベートプロトタイプ
• Authors: Dariush Wahdany, Matthew Jagielski, Adam Dziedzic, Franziska Boenisch,
• Abstract要約: 本稿では,個人間移動学習の新たなパラダイムとして,DPPL(differially Private Prototype Learning)を提案する。 DPPLは、埋め込み空間内の各プライベートクラスを表すプロトタイプを生成し、推論のために公開することができる。 エンコーダの事前トレーニング以上の公開データを活用すれば,プライバシユーティリティのトレードオフをさらに改善できることを示す。
• 参考スコア（独自算出の注目度）: 16.028575596905554
• License:
• Abstract: Machine learning (ML) models have been shown to leak private information from their training datasets. Differential Privacy (DP), typically implemented through the differential private stochastic gradient descent algorithm (DP-SGD), has become the standard solution to bound leakage from the models. Despite recent improvements, DP-SGD-based approaches for private learning still usually struggle in the high privacy ($\varepsilon\le1)$ and low data regimes, and when the private training datasets are imbalanced. To overcome these limitations, we propose Differentially Private Prototype Learning (DPPL) as a new paradigm for private transfer learning. DPPL leverages publicly pre-trained encoders to extract features from private data and generates DP prototypes that represent each private class in the embedding space and can be publicly released for inference. Since our DP prototypes can be obtained from only a few private training data points and without iterative noise addition, they offer high-utility predictions and strong privacy guarantees even under the notion of \textit{pure DP}. We additionally show that privacy-utility trade-offs can be further improved when leveraging the public data beyond pre-training of the encoder: in particular, we can privately sample our DP prototypes from the publicly available data points used to train the encoder. Our experimental evaluation with four state-of-the-art encoders, four vision datasets, and under different data and imbalancedness regimes demonstrate DPPL's high performance under strong privacy guarantees in challenging private learning setups
• Abstract（参考訳）: 機械学習(ML)モデルは、トレーニングデータセットからプライベート情報を漏洩することが示されている。 ディファレンシャルプライバシ(DP)は、通常、ディファレンシャル・プライベート・確率勾配勾配勾配アルゴリズム(DP-SGD)によって実装され、モデルからのバウンド・リークの標準解となっている。 最近の改善にもかかわらず、DP-SGDベースのプライベートラーニングアプローチは、通常、高いプライバシ(\varepsilon\le1)と低いデータレジーム、プライベートトレーニングデータセットが不均衡な場合に、高いプライバシ(\varepsilon\le1)と低いデータレジームに苦しむ。 これらの制約を克服するため、我々は、個人間移動学習の新しいパラダイムとして、差分的プライベートプロトタイプ学習(DPPL)を提案する。 DPPLは、公開事前訓練されたエンコーダを利用して、プライベートデータから特徴を抽出し、埋め込み空間内の各プライベートクラスを表すDPプロトタイプを生成し、推論のために公開することができる。 我々のDPプロトタイプは、数個のプライベートトレーニングデータポイントからしか得られず、繰り返しノイズが加わらないため、 \textit{pure DP} という概念の下でも、高ユーティリティな予測と強力なプライバシー保証を提供する。 さらに、エンコーダの事前トレーニング以上の公開データを活用すれば、プライバシーとユーティリティのトレードオフをさらに改善できることを示す。 4つの最先端エンコーダ、4つのビジョンデータセット、および異なるデータと不均衡状態下での実験評価は、DPPLの高性能を、プライベート学習に挑戦する際の強力なプライバシー保証の下で実証している。

関連論文リスト

• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• Unlocking Accuracy and Fairness in Differentially Private Image Classification [43.53494043189235]
  差別化プライバシ(DP)は、プライバシ保護トレーニングのための金の標準フレームワークと考えられている。 DPを微調整した事前学習基礎モデルでは,非私的分類器と同様の精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:42:33Z)
• Probing the Transition to Dataset-Level Privacy in ML Models Using an Output-Specific and Data-Resolved Privacy Profile [23.05994842923702]
  差分プライバシーメカニズムを用いてデータセットでトレーニングされたモデルが、近隣のデータセットでトレーニングされた結果の分布によってカバーされる範囲を定量化するプライバシー指標について検討する。 プライバシプロファイルは、近隣のディストリビューションで発生する不明瞭性への観察された遷移を、$epsilon$の減少として調査するために使用できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T20:39:07Z)
• DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders [26.658723213776632]
  DP保証付き変分オートエンコーダ(VAE)のトレーニング機構であるDP$2$-VAEを提案する。 さまざまなプライバシ予算と評価指標の下で,ベースラインよりも優位性を示すために,画像データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-05T23:57:34Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。