論文の概要: Differentially Private Diffusion Models

• arxiv url: http://arxiv.org/abs/2210.09929v3
• Date: Sun, 31 Dec 2023 01:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 03:08:44.956089
• Title: Differentially Private Diffusion Models
• Title（参考訳）: 微分プライベート拡散モデル
• Authors: Tim Dockhorn, Tianshi Cao, Arash Vahdat, Karsten Kreis
• Abstract要約: 我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。 DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 46.46256537222917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While modern machine learning models rely on increasingly large training datasets, data is often limited in privacy-sensitive domains. Generative models trained with differential privacy (DP) on sensitive data can sidestep this challenge, providing access to synthetic data instead. We build on the recent success of diffusion models (DMs) and introduce Differentially Private Diffusion Models (DPDMs), which enforce privacy using differentially private stochastic gradient descent (DP-SGD). We investigate the DM parameterization and the sampling algorithm, which turn out to be crucial ingredients in DPDMs, and propose noise multiplicity, a powerful modification of DP-SGD tailored to the training of DMs. We validate our novel DPDMs on image generation benchmarks and achieve state-of-the-art performance in all experiments. Moreover, on standard benchmarks, classifiers trained on DPDM-generated synthetic data perform on par with task-specific DP-SGD-trained classifiers, which has not been demonstrated before for DP generative models. Project page and code: https://nv-tlabs.github.io/DPDM.
• Abstract（参考訳）: 現代の機械学習モデルは、ますます大きなトレーニングデータセットに依存しているが、データはプライバシーに敏感なドメインに限定されることが多い。 機密データに対して差分プライバシー(DP)でトレーニングされた生成モデルは、この課題を回避し、代わりに合成データへのアクセスを提供する。 本稿では,最近の拡散モデル(dms)の成功に基づき,微分プライベート拡散モデル(dpdms)を導入し,微分プライベート確率勾配降下(dp-sgd)を用いたプライバシーを強制する。 本稿では,DPDMにおいて重要な要素であるDMパラメータ化とサンプリングアルゴリズムについて検討し,DMの訓練に適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。 さらに、標準ベンチマークでは、dpdm生成合成データで訓練された分類器はタスク固有のdp-sgd訓練された分類器と同等の性能を発揮する。 プロジェクトページとコード:https://nv-tlabs.github.io/DPDM。

関連論文リスト

• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• On the Efficacy of Differentially Private Few-shot Image Classification [40.49270725252068]
  パーソナライズやフェデレーション学習を含む多くのアプリケーションにおいて、数ショット設定でうまく機能することが不可欠である。 本稿では,クラス毎のショット数,プライバシレベル,モデルアーキテクチャ,下流データセット,学習可能なパラメータのサブセットなど,DP画像分類モデルの精度と脆弱性がどう影響するかを示す。
  論文  参考訳（メタデータ） (2023-02-02T16:16:25Z)
• Private Ad Modeling with DP-SGD [58.670969449674395]
  プライバシ保護MLにおけるよく知られたアルゴリズムは、差分プライベート勾配降下(DP-SGD)である 本研究では,DP-SGDをクリックスルー率,変換率,変換イベント数などの広告モデリングタスクに適用する。 私たちの研究は、DP-SGDが広告モデリングタスクのプライバシーとユーティリティの両方を提供できることを実証的に実証した初めてのものです。
  論文  参考訳（メタデータ） (2022-11-21T22:51:16Z)
• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [19.59757201902467]
  ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
  論文  参考訳（メタデータ） (2022-10-18T07:03:14Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• An Efficient DP-SGD Mechanism for Large Scale NLP Models [28.180412581994485]
  自然言語理解(NLU)モデルを訓練するために使用されるデータは、住所や電話番号などのプライベート情報を含むことができる。 基礎となるモデルは、トレーニングデータに含まれるプライベート情報を公開しないことが望ましい。 プライバシ保護モデルを構築するメカニズムとして,DP-SGD(Fariially Private Gradient Descent)が提案されている。
  論文  参考訳（メタデータ） (2021-07-14T15:23:27Z)
• DP-CGAN: Differentially Private Synthetic Data and Label Generation [18.485995499841]
  本稿では,新たなクリッピング・摂動戦略に基づくDP-CGANトレーニングフレームワークを提案する。 DP-CGANは, 1桁のエプシロンパラメータを用いて, MNISTデータセット上で視覚的, 経験的に有望な結果を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-01-27T11:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。