論文の概要: Differentially Private Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.15759v1
• Date: Thu, 25 May 2023 06:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:06:53.437814
• Title: Differentially Private Latent Diffusion Models
• Title（参考訳）: 個人差分潜流拡散モデル
• Authors: Saiyue Lyu, Margarita Vinaroz, Michael F. Liu, Mijung Park
• Abstract要約: 差分プライバシーを用いた遅延拡散モデル(LDM)のトレーニングを提案する。 LDMは、強力な事前訓練されたオートエンコーダを使用して、高次元のピクセル空間をはるかに低次元の潜在空間に還元する。 我々のアプローチは、より強力で訓練効率の良い差分DMを訓練するための有望な方向を提供する。
• 参考スコア（独自算出の注目度）: 5.304907804008534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) are widely used for generating high-quality image datasets. However, since they operate directly in the high-dimensional pixel space, optimization of DMs is computationally expensive, requiring long training times. This contributes to large amounts of noise being injected into the differentially private learning process, due to the composability property of differential privacy. To address this challenge, we propose training Latent Diffusion Models (LDMs) with differential privacy. LDMs use powerful pre-trained autoencoders to reduce the high-dimensional pixel space to a much lower-dimensional latent space, making training DMs more efficient and fast. Unlike [Ghalebikesabi et al., 2023] that pre-trains DMs with public data then fine-tunes them with private data, we fine-tune only the attention modules of LDMs at varying layers with privacy-sensitive data, reducing the number of trainable parameters by approximately 96% compared to fine-tuning the entire DM. We test our algorithm on several public-private data pairs, such as ImageNet as public data and CIFAR10 and CelebA as private data, and SVHN as public data and MNIST as private data. Our approach provides a promising direction for training more powerful, yet training-efficient differentially private DMs that can produce high-quality synthetic images.
• Abstract（参考訳）: 拡散モデル(DM)は高品質の画像データセットを生成するために広く利用されている。 しかし、高次元画素空間で直接動作するため、DMの最適化は計算コストが高く、長い訓練時間を要する。 これは、差分プライバシーの構成可能性の性質のため、差分プライベートな学習プロセスに大量のノイズが注入されるのに寄与する。 この課題に対処するため,我々は差分プライバシーを持つ潜在拡散モデル(ldms)のトレーニングを提案する。 LDMは、強力な事前学習オートエンコーダを使用して、高次元のピクセル空間をより低次元の潜在空間に還元し、トレーニングDMをより効率的に高速にする。 公開データでdmを事前トレーニングし、プライベートデータで微調整する[ghalebikesabi et al., 2023]とは異なり、さまざまな層でldmの注意モジュールのみをプライバシに敏感なデータで微調整し、トレーニング可能なパラメータの数をdm全体の微調整と比較して約96%削減する。 公開データとしてimagenet、プライベートデータとしてcifar10、celeba、プライベートデータとしてsvhn、プライベートデータとしてmnistなど、いくつかのプライベートデータペアでアルゴリズムをテストします。 我々のアプローチは、高品質な合成画像を生成することができる、より強力で訓練効率のよい差分DMをトレーニングするための有望な方向を提供する。

関連論文リスト

• Learning to Generate Image Embeddings with User-level Differential Privacy [31.797461992234457]
  DP-FedEmbは、ユーザ毎の感度制御とノイズ付加を備えたフェデレーション学習アルゴリズムの一種である。 数百万のユーザがトレーニングに参加可能な場合,ユーティリティの低下を5%以内でコントロールしながら,強力なユーザレベルのDP保証を$epsilon4$で実現できることを示す。
  論文  参考訳（メタデータ） (2022-11-20T01:59:37Z)
• Differentially Private Diffusion Models [19.142273925815775]
  個人差分拡散モデル(DPDM)を導入し, 個人差分勾配勾配(DP-SGD)を用いてプライバシーを強制する。 我々は,広範に使用されている画像生成ベンチマークにおける新しいDPDMの有効性を検証し,最先端(SOTA)の性能を大きなマージンで達成する。
  論文  参考訳（メタデータ） (2022-10-18T15:20:47Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators [74.16405337436213]
  我々は、GS-WGAN(Gradient-sanitized Wasserstein Generative Adrial Networks)を提案する。 GS-WGANは、厳格なプライバシー保証を備えた機密データの衛生的な形式での公開を可能にする。 このアプローチは、複数のメトリクスにわたる最先端のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2020-06-15T10:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。