論文の概要: Differentially Private Latent Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.15759v1
- Date: Thu, 25 May 2023 06:18:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 17:06:53.437814
- Title: Differentially Private Latent Diffusion Models
- Title(参考訳): 個人差分潜流拡散モデル
- Authors: Saiyue Lyu, Margarita Vinaroz, Michael F. Liu, Mijung Park
- Abstract要約: 差分プライバシーを用いた遅延拡散モデル(LDM)のトレーニングを提案する。
LDMは、強力な事前訓練されたオートエンコーダを使用して、高次元のピクセル空間をはるかに低次元の潜在空間に還元する。
我々のアプローチは、より強力で訓練効率の良い差分DMを訓練するための有望な方向を提供する。
- 参考スコア(独自算出の注目度): 5.304907804008534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models (DMs) are widely used for generating high-quality image
datasets. However, since they operate directly in the high-dimensional pixel
space, optimization of DMs is computationally expensive, requiring long
training times. This contributes to large amounts of noise being injected into
the differentially private learning process, due to the composability property
of differential privacy. To address this challenge, we propose training Latent
Diffusion Models (LDMs) with differential privacy. LDMs use powerful
pre-trained autoencoders to reduce the high-dimensional pixel space to a much
lower-dimensional latent space, making training DMs more efficient and fast.
Unlike [Ghalebikesabi et al., 2023] that pre-trains DMs with public data then
fine-tunes them with private data, we fine-tune only the attention modules of
LDMs at varying layers with privacy-sensitive data, reducing the number of
trainable parameters by approximately 96% compared to fine-tuning the entire
DM. We test our algorithm on several public-private data pairs, such as
ImageNet as public data and CIFAR10 and CelebA as private data, and SVHN as
public data and MNIST as private data. Our approach provides a promising
direction for training more powerful, yet training-efficient differentially
private DMs that can produce high-quality synthetic images.
- Abstract(参考訳): 拡散モデル(DM)は高品質の画像データセットを生成するために広く利用されている。
しかし、高次元画素空間で直接動作するため、DMの最適化は計算コストが高く、長い訓練時間を要する。
これは、差分プライバシーの構成可能性の性質のため、差分プライベートな学習プロセスに大量のノイズが注入されるのに寄与する。
この課題に対処するため,我々は差分プライバシーを持つ潜在拡散モデル(ldms)のトレーニングを提案する。
LDMは、強力な事前学習オートエンコーダを使用して、高次元のピクセル空間をより低次元の潜在空間に還元し、トレーニングDMをより効率的に高速にする。
公開データでdmを事前トレーニングし、プライベートデータで微調整する[ghalebikesabi et al., 2023]とは異なり、さまざまな層でldmの注意モジュールのみをプライバシに敏感なデータで微調整し、トレーニング可能なパラメータの数をdm全体の微調整と比較して約96%削減する。
公開データとしてimagenet、プライベートデータとしてcifar10、celeba、プライベートデータとしてsvhn、プライベートデータとしてmnistなど、いくつかのプライベートデータペアでアルゴリズムをテストします。
我々のアプローチは、高品質な合成画像を生成することができる、より強力で訓練効率のよい差分DMをトレーニングするための有望な方向を提供する。
関連論文リスト
- Pre-training Differentially Private Models with Limited Public Data [58.945400707033016]
ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。
DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。
公開データの10%しか利用しない新しいDP継続事前学習戦略を提案する。
論文 参考訳(メタデータ) (2024-02-28T23:26:27Z) - Zero redundancy distributed learning with differential privacy [26.89679585840689]
我々は、訓練可能なDPモデルサイズをスケールアップする新しい体系的ソリューションDP-ZeROを開発した。
我々のDP-ZeROは任意のサイズでモデルを訓練する可能性があり、世界最大のDPモデルで評価されている。
論文 参考訳(メタデータ) (2023-11-20T14:58:56Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Private Ad Modeling with DP-SGD [58.670969449674395]
プライバシ保護MLにおけるよく知られたアルゴリズムは、差分プライベート勾配降下(DP-SGD)である
本研究では,DP-SGDをクリックスルー率,変換率,変換イベント数などの広告モデリングタスクに適用する。
私たちの研究は、DP-SGDが広告モデリングタスクのプライバシーとユーティリティの両方を提供できることを実証的に実証した初めてのものです。
論文 参考訳(メタデータ) (2022-11-21T22:51:16Z) - Few-shot Image Generation with Diffusion Models [18.532357455856836]
拡散確率モデル(DDPM)は、大量のデータに基づいて訓練された際に、顕著な多様性で高品質な画像を合成できることが証明されている。
現代のアプローチは、主にGAN(Generative Adversarial Networks)とAdapted Model(Adapted Model)に基づいて構築されている。
本稿では, DDPMが過度に適合し, トレーニングデータが不足するにつれて, 高度に多様性が低下する事例について検討する。
論文 参考訳(メタデータ) (2022-11-07T02:18:27Z) - Differentially Private Diffusion Models [46.46256537222917]
我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。
DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。
我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-10-18T15:20:47Z) - High-Dimensional Private Empirical Risk Minimization by Greedy
Coordinate Descent [11.49109939095326]
個人的リスク最小化(DP-ERM)について検討する。
DP-GCDは,幅広い問題に対して,次元の対数依存を実現できることを示す。
論文 参考訳(メタデータ) (2022-07-04T16:27:00Z) - Pre-trained Perceptual Features Improve Differentially Private Image
Generation [8.659595986100738]
差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。
私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。
私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
論文 参考訳(メタデータ) (2022-05-25T16:46:01Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T01:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。