論文の概要: Differentially Private Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.15759v4
• Date: Sat, 16 Mar 2024 03:01:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:32:24.783765
• Title: Differentially Private Latent Diffusion Models
• Title（参考訳）: 個人差分潜流拡散モデル
• Authors: Saiyue Lyu, Michael F. Liu, Margarita Vinaroz, Mijung Park,
• Abstract要約: 拡散モデル(DM)は、非微分プライベートな方法で高品質な高次元画像を生成するために広く用いられている。 近年の論文では、DMを公開データで事前訓練し、DP-SGDを用いて比較的短期間に個人データで微調整することを提案している。 我々は、遅延拡散モデル(LDM)を採用することにより、DPによるDMの現況をさらに改善する。
• 参考スコア（独自算出の注目度）: 4.10609794373612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) are widely used for generating high-quality high-dimensional images in a non-differentially private manner. To address this challenge, recent papers suggest pre-training DMs with public data, then fine-tuning them with private data using DP-SGD for a relatively short period. In this paper, we further improve the current state of DMs with DP by adopting the Latent Diffusion Models (LDMs). LDMs are equipped with powerful pre-trained autoencoders that map the high-dimensional pixels into lower-dimensional latent representations, in which DMs are trained, yielding a more efficient and fast training of DMs. In our algorithm, DP-LDMs, rather than fine-tuning the entire DMs, we fine-tune only the attention modules of LDMs at varying layers with privacy-sensitive data, reducing the number of trainable parameters by roughly 90% and achieving a better accuracy, compared to fine-tuning the entire DMs. The smaller parameter space to fine-tune with DP-SGD helps our algorithm to achieve new state-of-the-art results in several public-private benchmark data pairs.Our approach also allows us to generate more realistic, high-dimensional images (256x256) and those conditioned on text prompts with differential privacy, which have not been attempted before us, to the best of our knowledge. Our approach provides a promising direction for training more powerful, yet training-efficient differentially private DMs, producing high-quality high-dimensional DP images.
• Abstract（参考訳）: 拡散モデル(DM)は、非微分プライベートな方法で高品質な高次元画像を生成するために広く用いられている。 この課題に対処するため、最近の論文では、DMを公開データで事前訓練し、DP-SGDを用いて比較的短期間にプライベートデータで微調整することを提案している。 本稿では,LDM(Latent Diffusion Models)を採用することにより,DPを用いたDMの現状をさらに改善する。 LDMは、高次元の画素を低次元の潜在表現にマッピングする強力な事前学習オートエンコーダを備えており、DMをより効率的に高速に訓練することができる。 提案アルゴリズムでは,DM全体を微調整するのではなく,各層におけるLDMの注意モジュールのみをプライバシに敏感なデータで微調整し,トレーニング可能なパラメータの数を約90%削減し,DM全体を微調整するよりも精度が向上した。 DP-SGDで微調整するパラメータ空間が小さくなれば、いくつかの公開プライベートなベンチマークデータペアで新たな最先端結果が得られます。我々のアプローチでは、より現実的で高次元の画像(256x256)を生成できます。 提案手法は,高画質の高次元DP画像を生成するため,より強力で訓練効率のよい差分DMをトレーニングするための有望な方向を提供する。

関連論文リスト

• Improving image synthesis with diffusion-negative sampling [54.84368884047812]
  拡散モデル(DM)を用いた画像生成のための新しい拡散陰性プロンプト(DNP)戦略を提案する。 DNPは、拡散陰性サンプリング(DNS)と呼ばれるDMの分布下においてpに最も適合していない画像のサンプリングを行う新しい手順に基づいている。 DNSの実装は簡単で、トレーニングは不要である。実験と人的評価により、DNPは定量的にも質的にもよく機能することが示された。
  論文  参考訳（メタデータ） (2024-11-08T10:58:09Z)
• Efficient Image-to-Image Diffusion Classifier for Adversarial Robustness [24.465567005078135]
  拡散モデル (DM) は、対向的堅牢性の分野で大きな可能性を証明している。 DMは、大規模な事前訓練されたDMを使用するため、膨大な計算コストを必要とする。 我々は,U-Net構造と拡散時間を短縮した効率的な画像から画像への拡散分類器を提案する。 本手法は, DM法やCNN法よりも計算コストが少なく, 対数ロバスト性を向上する。
  論文  参考訳（メタデータ） (2024-08-16T03:01:07Z)
• FaceScore: Benchmarking and Enhancing Face Quality in Human Generation [12.899451649090569]
  テキストから画像生成における低品質で非現実的な人間の顔は、最も顕著な問題の一つである。 我々は,顔ペアのデータセット上で広く使用されているImageRewardを微調整することにより,FaceScore (FS) という新しいメトリクスを開発した。
  論文  参考訳（メタデータ） (2024-06-24T19:39:59Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• Differentially Private Representation Learning via Image Captioning [51.45515227171524]
  画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。 LAION-2Bの233Mサブセット上のDPイメージキャプタ(DP-Cap)を,合理的な計算量を用いてスクラッチからトレーニングした。
  論文  参考訳（メタデータ） (2024-03-04T21:52:25Z)
• Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models [71.11425812806431]
  遅延拡散モデル(LDM)は、過剰な計算要求を回避しながら高品質な画像合成を可能にする。 本稿では, LDMパラダイムを高分解能な生成, 特に資源集約的なタスクに適用する。 そこで本研究では,テキスト・ツー・ビデオ・モデリングによる実世界のシミュレーションとクリエイティブ・コンテンツ作成の2つの応用に焦点をあてる。
  論文  参考訳（メタデータ） (2023-04-18T08:30:32Z)
• A Recipe for Watermarking Diffusion Models [53.456012264767914]
  拡散モデル(DM)は、生成タスクに有利な可能性を証明している。 フォトリアリスティック画像の生成や編集など、DMを下流のアプリケーションに組み込むことには幅広い関心がある。 しかし、DMの実践的な展開と前例のない力は、著作権保護や生成されたコンテンツの監視を含む法的問題を提起する。 ウォーターマーキングは著作権保護とコンテンツ監視のための実証済みのソリューションであるが、DMの文献では過小評価されている。
  論文  参考訳（メタデータ） (2023-03-17T17:25:10Z)
• Differentially Private Diffusion Models [46.46256537222917]
  我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。 DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-18T15:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。