論文の概要: Differentially Private Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.15759v5
• Date: Fri, 19 Jul 2024 00:21:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 00:35:58.382869
• Title: Differentially Private Latent Diffusion Models
• Title（参考訳）: 個人差分潜流拡散モデル
• Authors: Michael F. Liu, Saiyue Lyu, Margarita Vinaroz, Mijung Park,
• Abstract要約: 拡散モデル (DM) は高品質な画像を生成するために最も広く使われている生成モデルの一つである。 本稿では、textitLatent Diffusion Models (LDMs) を採用することにより、差分プライバシ(DP)を用いたDMの現状を改善することを目的とする。 提案手法により,DP保証付きテキストプロンプトに条件付き現実的な高次元画像を生成することができる。
• 参考スコア（独自算出の注目度）: 4.10609794373612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) are one of the most widely used generative models for producing high quality images. However, a flurry of recent papers points out that DMs are least private forms of image generators, by extracting a significant number of near-identical replicas of training images from DMs. Existing privacy-enhancing techniques for DMs, unfortunately, do not provide a good privacy-utility tradeoff. In this paper, we aim to improve the current state of DMs with differential privacy (DP) by adopting the \textit{Latent} Diffusion Models (LDMs). LDMs are equipped with powerful pre-trained autoencoders that map the high-dimensional pixels into lower-dimensional latent representations, in which DMs are trained, yielding a more efficient and fast training of DMs. Rather than fine-tuning the entire LDMs, we fine-tune only the $\textit{attention}$ modules of LDMs with DP-SGD, reducing the number of trainable parameters by roughly $90\%$ and achieving a better privacy-accuracy trade-off. Our approach allows us to generate realistic, high-dimensional images (256x256) conditioned on text prompts with DP guarantees, which, to the best of our knowledge, has not been attempted before. Our approach provides a promising direction for training more powerful, yet training-efficient differentially private DMs, producing high-quality DP images. Our code is available at https://anonymous.4open.science/r/DP-LDM-4525.
• Abstract（参考訳）: 拡散モデル (DM) は高品質な画像を生成するために最も広く使われている生成モデルの一つである。 しかし、近年の論文では、DMは画像生成装置の最もプライベートな形態であり、DMから訓練画像の相当数の複製を抽出することで、DMが画像生成装置の最もプライベートな形態であることを指摘している。 DMの既存のプライバシー強化技術は、残念ながら、優れたプライバシーユーティリティトレードオフを提供していない。 本稿では,DEM(textit{Latent} Diffusion Models)を採用することにより,DP(差分プライバシ)を用いたDMの現状を改善することを目的とする。 LDMは、高次元の画素を低次元の潜在表現にマッピングする強力な事前学習オートエンコーダを備えており、DMをより効率的に高速に訓練することができる。 LDM全体を微調整する代わりに、DP-SGDでLDMのモジュールの$\textit{attention}$だけを微調整し、トレーニング可能なパラメータの数を約90\%削減し、より優れたプライバシーと精度のトレードオフを実現します。 提案手法により,DP保証付きテキストプロンプトに条件付き現実的な高次元画像(256x256)を生成することができる。 提案手法は,高画質のDP画像を生成するため,より強力で訓練効率のよい差分DMをトレーニングするための有望な方向を提供する。 私たちのコードはhttps://anonymous.4open.science/r/DP-LDM-4525で利用可能です。

関連論文リスト

• Improving image synthesis with diffusion-negative sampling [54.84368884047812]
  拡散モデル(DM)を用いた画像生成のための新しい拡散陰性プロンプト(DNP)戦略を提案する。 DNPは、拡散陰性サンプリング(DNS)と呼ばれるDMの分布下においてpに最も適合していない画像のサンプリングを行う新しい手順に基づいている。 DNSの実装は簡単で、トレーニングは不要である。実験と人的評価により、DNPは定量的にも質的にもよく機能することが示された。
  論文  参考訳（メタデータ） (2024-11-08T10:58:09Z)
• Efficient Image-to-Image Diffusion Classifier for Adversarial Robustness [24.465567005078135]
  拡散モデル (DM) は、対向的堅牢性の分野で大きな可能性を証明している。 DMは、大規模な事前訓練されたDMを使用するため、膨大な計算コストを必要とする。 我々は,U-Net構造と拡散時間を短縮した効率的な画像から画像への拡散分類器を提案する。 本手法は, DM法やCNN法よりも計算コストが少なく, 対数ロバスト性を向上する。
  論文  参考訳（メタデータ） (2024-08-16T03:01:07Z)
• FaceScore: Benchmarking and Enhancing Face Quality in Human Generation [12.899451649090569]
  テキストから画像生成における低品質で非現実的な人間の顔は、最も顕著な問題の一つである。 我々は,顔ペアのデータセット上で広く使用されているImageRewardを微調整することにより,FaceScore (FS) という新しいメトリクスを開発した。
  論文  参考訳（メタデータ） (2024-06-24T19:39:59Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• Differentially Private Representation Learning via Image Captioning [51.45515227171524]
  画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。 LAION-2Bの233Mサブセット上のDPイメージキャプタ(DP-Cap)を,合理的な計算量を用いてスクラッチからトレーニングした。
  論文  参考訳（メタデータ） (2024-03-04T21:52:25Z)
• Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models [71.11425812806431]
  遅延拡散モデル(LDM)は、過剰な計算要求を回避しながら高品質な画像合成を可能にする。 本稿では, LDMパラダイムを高分解能な生成, 特に資源集約的なタスクに適用する。 そこで本研究では,テキスト・ツー・ビデオ・モデリングによる実世界のシミュレーションとクリエイティブ・コンテンツ作成の2つの応用に焦点をあてる。
  論文  参考訳（メタデータ） (2023-04-18T08:30:32Z)
• A Recipe for Watermarking Diffusion Models [53.456012264767914]
  拡散モデル(DM)は、生成タスクに有利な可能性を証明している。 フォトリアリスティック画像の生成や編集など、DMを下流のアプリケーションに組み込むことには幅広い関心がある。 しかし、DMの実践的な展開と前例のない力は、著作権保護や生成されたコンテンツの監視を含む法的問題を提起する。 ウォーターマーキングは著作権保護とコンテンツ監視のための実証済みのソリューションであるが、DMの文献では過小評価されている。
  論文  参考訳（メタデータ） (2023-03-17T17:25:10Z)
• Differentially Private Diffusion Models [46.46256537222917]
  我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。 DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-18T15:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。