論文の概要: Leveraging Programmatically Generated Synthetic Data for Differentially Private Diffusion Training

• arxiv url: http://arxiv.org/abs/2412.09842v1
• Date: Fri, 13 Dec 2024 04:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:03:45.064596
• Title: Leveraging Programmatically Generated Synthetic Data for Differentially Private Diffusion Training
• Title（参考訳）: 個人差分拡散訓練のためのプログラム生成合成データの活用
• Authors: Yujin Choi, Jinseong Park, Junyoung Byun, Jaewook Lee,
• Abstract要約: プログラムで生成された合成データは、プライバシーの漏洩を避けるために、分類のための差分プライベートトレーニングに使われてきた。 合成データで訓練されたモデルは非現実的なランダムな画像を生成し、生成モデルに合成データを適用するための課題を提起する。 この課題に対処するために、拡散モデルで生成された合成データを活用するDPSynGenを提案する。
• 参考スコア（独自算出の注目度）: 4.815212947276105
• License:
• Abstract: Programmatically generated synthetic data has been used in differential private training for classification to enhance performance without privacy leakage. However, as the synthetic data is generated from a random process, the distribution of real data and the synthetic data are distinguishable and difficult to transfer. Therefore, the model trained with the synthetic data generates unrealistic random images, raising challenges to adapt the synthetic data for generative models. In this work, we propose DP-SynGen, which leverages programmatically generated synthetic data in diffusion models to address this challenge. By exploiting the three stages of diffusion models(coarse, context, and cleaning) we identify stages where synthetic data can be effectively utilized. We theoretically and empirically verified that cleaning and coarse stages can be trained without private data, replacing them with synthetic data to reduce the privacy budget. The experimental results show that DP-SynGen improves the quality of generative data by mitigating the negative impact of privacy-induced noise on the generation process.
• Abstract（参考訳）: プログラムで生成された合成データは、プライバシー漏洩のない性能向上のために、差分プライベートトレーニングで使用されている。 しかし、ランダムなプロセスから合成データが生成されるため、実データと合成データの分布は識別可能であり、転送が困難である。 したがって、合成データで訓練されたモデルは非現実的なランダムな画像を生成し、生成モデルに合成データを適用するための課題を提起する。 本研究では,この課題に対処するために,拡散モデルにおけるプログラム生成合成データを活用するDP-SynGenを提案する。 拡散モデル(粗度, コンテキスト, クリーニング)の3段階を利用して, 合成データを効果的に活用できる段階を特定する。 理論的および実験的に、クリーニングと粗いステージがプライベートデータなしで訓練可能であることを検証し、プライバシ予算を削減するために合成データに置き換えた。 実験の結果,DP-SynGenは生成過程におけるプライバシによるノイズの負の影響を軽減し,生成データの品質を向上させることが示された。

関連論文リスト

• Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks [5.0243930429558885]
  本稿では,下流分類器の学習のための合成データの生成と利用を最適化するパイプラインである知識リサイクル(KR)を紹介する。 このパイプラインの核心は生成的知識蒸留(GKD)であり、情報の品質と有用性を大幅に向上させる技術が提案されている。 その結果、実データと合成データでトレーニングされたモデルと、実データでトレーニングされたモデルとの性能差が著しく低下した。
  論文  参考訳（メタデータ） (2024-07-22T10:31:07Z)
• Improving Grammatical Error Correction via Contextual Data Augmentation [49.746484518527716]
  本研究では,文脈拡張に基づく合成データ構築手法を提案する。 具体的には、ルールベースの置換とモデルベースの生成を組み合わせる。 また,合成データにおけるノイズラベルの効果を軽減するために,レザベリングに基づくデータクリーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-25T10:49:56Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Trading Off Scalability, Privacy, and Performance in Data Synthesis [11.698554876505446]
  a) Howsoエンジンを導入し、(b)ランダムプロジェクションに基づく合成データ生成フレームワークを提案する。 Howsoエンジンが生成する合成データは、プライバシーと正確性に優れており、その結果、総合的なスコアが最高の結果となる。 提案するランダム・プロジェクション・ベース・フレームワークは,高い精度で合成データを生成することができ,スケーラビリティが最速である。
  論文  参考訳（メタデータ） (2023-12-09T02:04:25Z)
• Boosting Data Analytics With Synthetic Volume Expansion [3.568650932986342]
  本稿では,合成データに対する統計的手法の有効性と,合成データのプライバシーリスクについて考察する。 この枠組みにおける重要な発見は、合成データに対する統計的手法の誤差率は、より多くの合成データを追加することで減少するが、最終的には上昇または安定化する可能性があることを明らかにする世代効果である。
  論文  参考訳（メタデータ） (2023-10-27T01:57:27Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Differentially Private Data Generation with Missing Data [25.242190235853595]
  我々は、差分プライバシー(DP)合成データの問題点を、欠落した値で定式化する。 本稿では,合成データの有効性を大幅に向上させる3つの効果的な適応戦略を提案する。 全体として、この研究は、プライベートな合成データ生成アルゴリズムを使用する際の課題と機会をより深く理解することに貢献している。
  論文  参考訳（メタデータ） (2023-10-17T19:41:54Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Differentially Private Diffusion Models Generate Useful Synthetic Images [53.94025967603649]
  近年の研究では、いくつかの拡散モデルの出力がトレーニングデータのプライバシを保持していないことが報告されている。 CIFAR-10 と Camelyon17 のSOTA 結果を得た。 以上の結果から,差分プライバシーで微調整された拡散モデルが有用かつ実証可能なプライベートな合成データを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-27T15:02:04Z)
• Differentially Private Synthetic Medical Data Generation using Convolutional GANs [7.2372051099165065]
  R'enyiの差分プライバシーを用いた合成データ生成のための差分プライベートフレームワークを開発する。 提案手法は, 畳み込み自己エンコーダと畳み込み生成対向ネットワークを利用して, 生成した合成データの重要な特性をある程度保存する。 私たちのモデルは、同じプライバシー予算の下で既存の最新モデルを上回ることを実証します。
  論文  参考訳（メタデータ） (2020-12-22T01:03:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。