Fugu-MT 論文翻訳(概要): Differentially Private Diffusion Models Generate Useful Synthetic Images

論文の概要: Differentially Private Diffusion Models Generate Useful Synthetic Images

arxiv url: http://arxiv.org/abs/2302.13861v1
Date: Mon, 27 Feb 2023 15:02:04 GMT
ステータス: 処理完了
システム内更新日: 2023-02-28 15:11:56.342805
Title: Differentially Private Diffusion Models Generate Useful Synthetic Images
Title（参考訳）: 有用合成画像を生成する個人差分拡散モデル
Authors: Sahra Ghalebikesabi, Leonard Berrada, Sven Gowal, Ira Ktena, Robert Stanforth, Jamie Hayes, Soham De, Samuel L. Smith, Olivia Wiles, Borja Balle
Abstract要約: 近年の研究では、いくつかの拡散モデルの出力がトレーニングデータのプライバシを保持していないことが報告されている。 CIFAR-10 と Camelyon17 のSOTA 結果を得た。以上の結果から,差分プライバシーで微調整された拡散モデルが有用かつ実証可能なプライベートな合成データを生成できることが示唆された。
参考スコア（独自算出の注目度）: 53.94025967603649
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The ability to generate privacy-preserving synthetic versions of sensitive image datasets could unlock numerous ML applications currently constrained by data availability. Due to their astonishing image generation quality, diffusion models are a prime candidate for generating high-quality synthetic data. However, recent studies have found that, by default, the outputs of some diffusion models do not preserve training data privacy. By privately fine-tuning ImageNet pre-trained diffusion models with more than 80M parameters, we obtain SOTA results on CIFAR-10 and Camelyon17 in terms of both FID and the accuracy of downstream classifiers trained on synthetic data. We decrease the SOTA FID on CIFAR-10 from 26.2 to 9.8, and increase the accuracy from 51.0% to 88.0%. On synthetic data from Camelyon17, we achieve a downstream accuracy of 91.1% which is close to the SOTA of 96.5% when training on the real data. We leverage the ability of generative models to create infinite amounts of data to maximise the downstream prediction performance, and further show how to use synthetic data for hyperparameter tuning. Our results demonstrate that diffusion models fine-tuned with differential privacy can produce useful and provably private synthetic data, even in applications with significant distribution shift between the pre-training and fine-tuning distributions.
Abstract（参考訳）: 機密画像データセットのプライバシを保存する合成バージョンを生成する能力は、現在データ可用性に制約されている多数のMLアプリケーションをアンロックすることができる。驚くべき画像生成品質のため、拡散モデルは高品質な合成データを生成する主要な候補である。しかし、最近の研究では、いくつかの拡散モデルの出力がトレーニングデータプライバシを保持していないことがデフォルトで判明している。 80m以上のパラメータを持つイメージネット事前学習拡散モデルを用いて,fidと合成データを用いた下流分類器の精度からcifar-10およびcamlyon17のsoma結果を得る。 CIFAR-10のSOTA FIDは26.2から9.8に減少し,精度は51.0%から88.0%に向上した。 Camelyon17の合成データから、実際のデータでトレーニングすると、SOTAに近い91.1%のダウンストリーム精度が96.5%に達する。我々は,生成モデルを用いて無限量のデータを作成し,下流の予測性能を最大化し,さらにハイパーパラメータチューニングのための合成データの使い方を示す。その結果,事前学習分布と微調整分布の間に大きな分布変化がある場合においても,差分プライバシーで微調整された拡散モデルが有用かつ確実にプライベートな合成データを生成することができることがわかった。

関連論文リスト

License Plate Images Generation with Diffusion Models [4.151073288078749]
本稿では,映像生成にインスパイアされた拡散モデルを用いて,現実的なライセンスプレート(LP)を合成することを提案する。我々は1万枚のLP画像からなる合成データセットを作成し、https://zenodo.org/doi/10.528/zenodo.13342102で公開しました。
論文参考訳（メタデータ） (2025-01-06T20:22:18Z)
Leveraging Programmatically Generated Synthetic Data for Differentially Private Diffusion Training [4.815212947276105]
プログラムで生成された合成データは、プライバシーの漏洩を避けるために、分類のための差分プライベートトレーニングに使われてきた。合成データで訓練されたモデルは非現実的なランダムな画像を生成し、生成モデルに合成データを適用するための課題を提起する。この課題に対処するために、拡散モデルで生成された合成データを活用するDPSynGenを提案する。
論文参考訳（メタデータ） (2024-12-13T04:22:23Z)
Embryo 2.0: Merging Synthetic and Real Data for Advanced AI Predictions [69.07284335967019]
2つのデータセットを使用して、2つの生成モデルをトレーニングします。 2-cell, 4-cell, 8-cell, morula, blastocyst など, 様々な細胞で合成胚画像を生成する。これらは実画像と組み合わせて、胚細胞ステージ予測のための分類モデルを訓練した。
論文参考訳（メタデータ） (2024-12-02T08:24:49Z)
Self-Improving Diffusion Models with Synthetic Data [12.597035060380001]
シンセティックデータを用いた自己IM拡散モデル(SIMS)は、拡散モデルのための新しい訓練概念である。 SIMSは自己合成データを使用して生成プロセス中に負のガイダンスを提供する。 MADを使わずに、自己生成合成データに対して反復的に訓練できる、最初の予防的生成AIアルゴリズムである。
論文参考訳（メタデータ） (2024-08-29T08:12:18Z)
Efficient Differentially Private Fine-Tuning of Diffusion Models [15.71777343534365]
DP-SGDによる微調整された大規模な拡散モデルは、メモリ使用量や計算量の観点から非常にリソース需要が高い。本研究では,低次元適応(LoDA)と微分プライバシーを用いた拡散モデルの高効率微調整(PEFT)について検討する。ソースコードはGitHubで公開されます。
論文参考訳（メタデータ） (2024-06-07T21:00:20Z)
PrivImage: Differentially Private Synthetic Image Generation using Diffusion Models with Semantic-Aware Pretraining [13.823621924706348]
差分プライバシー(DP)画像データ合成により、企業はプライバシの懸念なしに合成画像を共有し、利用することができる。従来の手法では、生成モデルの高度な技術と、公開データセットでの事前学習を取り入れて、例外的なDP画像データを生成する。本稿では,事前学習データを慎重に選択する新しいDP画像合成手法PRIVIMAGEを提案する。
論文参考訳（メタデータ） (2023-10-19T14:04:53Z)
On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文参考訳（メタデータ） (2023-09-30T16:41:04Z)
Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文参考訳（メタデータ） (2023-05-16T07:30:29Z)
Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文参考訳（メタデータ） (2021-05-18T15:13:00Z)
Denoising Diffusion Probabilistic Models [91.94962645056896]
拡散確率モデルを用いて高品質な画像合成結果を示す。本研究は,拡散確率モデルとランゲヴィン力学と整合したデノイングスコアとの新たな接続に基づいて設計した重み付き変分境界のトレーニングにより得られた。
論文参考訳（メタデータ） (2020-06-19T17:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。