論文の概要: Differentially Private Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.15759v1
• Date: Thu, 25 May 2023 06:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:06:53.437814
• Title: Differentially Private Latent Diffusion Models
• Title（参考訳）: 個人差分潜流拡散モデル
• Authors: Saiyue Lyu, Margarita Vinaroz, Michael F. Liu, Mijung Park
• Abstract要約: 差分プライバシーを用いた遅延拡散モデル(LDM)のトレーニングを提案する。 LDMは、強力な事前訓練されたオートエンコーダを使用して、高次元のピクセル空間をはるかに低次元の潜在空間に還元する。 我々のアプローチは、より強力で訓練効率の良い差分DMを訓練するための有望な方向を提供する。
• 参考スコア（独自算出の注目度）: 5.304907804008534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) are widely used for generating high-quality image datasets. However, since they operate directly in the high-dimensional pixel space, optimization of DMs is computationally expensive, requiring long training times. This contributes to large amounts of noise being injected into the differentially private learning process, due to the composability property of differential privacy. To address this challenge, we propose training Latent Diffusion Models (LDMs) with differential privacy. LDMs use powerful pre-trained autoencoders to reduce the high-dimensional pixel space to a much lower-dimensional latent space, making training DMs more efficient and fast. Unlike [Ghalebikesabi et al., 2023] that pre-trains DMs with public data then fine-tunes them with private data, we fine-tune only the attention modules of LDMs at varying layers with privacy-sensitive data, reducing the number of trainable parameters by approximately 96% compared to fine-tuning the entire DM. We test our algorithm on several public-private data pairs, such as ImageNet as public data and CIFAR10 and CelebA as private data, and SVHN as public data and MNIST as private data. Our approach provides a promising direction for training more powerful, yet training-efficient differentially private DMs that can produce high-quality synthetic images.
• Abstract（参考訳）: 拡散モデル(DM)は高品質の画像データセットを生成するために広く利用されている。 しかし、高次元画素空間で直接動作するため、DMの最適化は計算コストが高く、長い訓練時間を要する。 これは、差分プライバシーの構成可能性の性質のため、差分プライベートな学習プロセスに大量のノイズが注入されるのに寄与する。 この課題に対処するため,我々は差分プライバシーを持つ潜在拡散モデル(ldms)のトレーニングを提案する。 LDMは、強力な事前学習オートエンコーダを使用して、高次元のピクセル空間をより低次元の潜在空間に還元し、トレーニングDMをより効率的に高速にする。 公開データでdmを事前トレーニングし、プライベートデータで微調整する[ghalebikesabi et al., 2023]とは異なり、さまざまな層でldmの注意モジュールのみをプライバシに敏感なデータで微調整し、トレーニング可能なパラメータの数をdm全体の微調整と比較して約96%削減する。 公開データとしてimagenet、プライベートデータとしてcifar10、celeba、プライベートデータとしてsvhn、プライベートデータとしてmnistなど、いくつかのプライベートデータペアでアルゴリズムをテストします。 我々のアプローチは、高品質な合成画像を生成することができる、より強力で訓練効率のよい差分DMをトレーニングするための有望な方向を提供する。

関連論文リスト

• Improving image synthesis with diffusion-negative sampling [54.84368884047812]
  拡散モデル(DM)を用いた画像生成のための新しい拡散陰性プロンプト(DNP)戦略を提案する。 DNPは、拡散陰性サンプリング(DNS)と呼ばれるDMの分布下においてpに最も適合していない画像のサンプリングを行う新しい手順に基づいている。 DNSの実装は簡単で、トレーニングは不要である。実験と人的評価により、DNPは定量的にも質的にもよく機能することが示された。
  論文  参考訳（メタデータ） (2024-11-08T10:58:09Z)
• Efficient Image-to-Image Diffusion Classifier for Adversarial Robustness [24.465567005078135]
  拡散モデル (DM) は、対向的堅牢性の分野で大きな可能性を証明している。 DMは、大規模な事前訓練されたDMを使用するため、膨大な計算コストを必要とする。 我々は,U-Net構造と拡散時間を短縮した効率的な画像から画像への拡散分類器を提案する。 本手法は, DM法やCNN法よりも計算コストが少なく, 対数ロバスト性を向上する。
  論文  参考訳（メタデータ） (2024-08-16T03:01:07Z)
• FaceScore: Benchmarking and Enhancing Face Quality in Human Generation [12.899451649090569]
  テキストから画像生成における低品質で非現実的な人間の顔は、最も顕著な問題の一つである。 我々は,顔ペアのデータセット上で広く使用されているImageRewardを微調整することにより,FaceScore (FS) という新しいメトリクスを開発した。
  論文  参考訳（メタデータ） (2024-06-24T19:39:59Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• Differentially Private Representation Learning via Image Captioning [51.45515227171524]
  画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。 LAION-2Bの233Mサブセット上のDPイメージキャプタ(DP-Cap)を,合理的な計算量を用いてスクラッチからトレーニングした。
  論文  参考訳（メタデータ） (2024-03-04T21:52:25Z)
• Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models [71.11425812806431]
  遅延拡散モデル(LDM)は、過剰な計算要求を回避しながら高品質な画像合成を可能にする。 本稿では, LDMパラダイムを高分解能な生成, 特に資源集約的なタスクに適用する。 そこで本研究では,テキスト・ツー・ビデオ・モデリングによる実世界のシミュレーションとクリエイティブ・コンテンツ作成の2つの応用に焦点をあてる。
  論文  参考訳（メタデータ） (2023-04-18T08:30:32Z)
• A Recipe for Watermarking Diffusion Models [53.456012264767914]
  拡散モデル(DM)は、生成タスクに有利な可能性を証明している。 フォトリアリスティック画像の生成や編集など、DMを下流のアプリケーションに組み込むことには幅広い関心がある。 しかし、DMの実践的な展開と前例のない力は、著作権保護や生成されたコンテンツの監視を含む法的問題を提起する。 ウォーターマーキングは著作権保護とコンテンツ監視のための実証済みのソリューションであるが、DMの文献では過小評価されている。
  論文  参考訳（メタデータ） (2023-03-17T17:25:10Z)
• Differentially Private Diffusion Models [46.46256537222917]
  我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。 DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-18T15:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。