論文の概要: On the Inherent Privacy Properties of Discrete Denoising Diffusion Models

• arxiv url: http://arxiv.org/abs/2310.15524v3
• Date: Mon, 3 Jun 2024 03:02:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:41:02.509741
• Title: On the Inherent Privacy Properties of Discrete Denoising Diffusion Models
• Title（参考訳）: 離散化拡散モデルの固有プライバシー特性について
• Authors: Rongzhe Wei, Eleonora Kreačić, Haoyu Wang, Haoteng Yin, Eli Chien, Vamsi K. Potluru, Pan Li,
• Abstract要約: 本稿では、離散拡散モデルに固有のプライバシー保護の先駆的な理論的探索について述べる。 我々のフレームワークは、トレーニングデータセット内の各データポイントの潜在的なプライバシー漏洩を解明する。 当社のバウンダリは、$$$サイズのデータポイントによるトレーニングが、プライバシー漏洩の急増につながっていることも示しています。
• 参考スコア（独自算出の注目度）: 17.773335593043004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy concerns have led to a surge in the creation of synthetic datasets, with diffusion models emerging as a promising avenue. Although prior studies have performed empirical evaluations on these models, there has been a gap in providing a mathematical characterization of their privacy-preserving capabilities. To address this, we present the pioneering theoretical exploration of the privacy preservation inherent in discrete diffusion models (DDMs) for discrete dataset generation. Focusing on per-instance differential privacy (pDP), our framework elucidates the potential privacy leakage for each data point in a given training dataset, offering insights into how the privacy loss of each point correlates with the dataset's distribution. Our bounds also show that training with $s$-sized data points leads to a surge in privacy leakage from $(\epsilon, O(\frac{1}{s^2\epsilon}))$-pDP to $(\epsilon, O(\frac{1}{s\epsilon}))$-pDP of the DDM during the transition from the pure noise to the synthetic clean data phase, and a faster decay in diffusion coefficients amplifies the privacy guarantee. Finally, we empirically verify our theoretical findings on both synthetic and real-world datasets.
• Abstract（参考訳）: プライバシーに関する懸念から、合成データセットの作成が急増し、将来性のある道として拡散モデルが生まれている。 先行研究はこれらのモデルに対して経験的評価を行ったが、プライバシ保護能力の数学的特徴を提供するにはギャップがある。 そこで本研究では,個別データセット生成のための離散拡散モデル(DDM)に固有のプライバシ保護を理論的に検討する。 インスタンス毎の差分プライバシー(pDP)に着目して、当社のフレームワークは、トレーニングデータセットの各データポイントに対する潜在的なプライバシリークを解明し、各ポイントのプライバシ損失がデータセットの分布とどのように関連しているかに関する洞察を提供する。 私たちのバウンダリは、純粋なノイズから合成クリーンデータフェーズへの移行中に、DDMの$-pDPが$(\epsilon, O(\frac{1}{s^2\epsilon}))$-pDPから$(\epsilon, O(\frac{1}{s\epsilon}))$-pDPに上昇し、拡散係数の高速低下がプライバシー保証を増幅することを示している。 最後に,合成と実世界の両方のデータセットに関する理論的知見を実証的に検証した。

関連論文リスト

• Differentially Private Non Parametric Copulas: Generating synthetic data with non parametric copulas under privacy guarantees [0.0]
  本研究は、差分プライバシーを取り入れた非パラメトリックコプラベース合成データ生成モデルDPNPCの強化に焦点を当てる。 DPNPCと他の3つのモデル(PrivBayes、DP-Copula、DP-Histogram)を比較し、プライバシ、ユーティリティ、実行時間を評価する。
  論文  参考訳（メタデータ） (2024-09-27T10:18:14Z)
• Quantifying and Mitigating Privacy Risks for Tabular Generative Models [13.153278585144355]
  生成モデルからの合成データは、プライバシを保存するデータ共有ソリューションとして現れる。 本稿では,DP-TLDM,差分プライベートタブララプレント拡散モデルを提案する。 DP-TLDMは, 平均データ類似度35%, 下流タスク用ユーティリティ15%, データの識別性50%で, 合成品質の向上を図っている。
  論文  参考訳（メタデータ） (2024-03-12T17:27:49Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Differentially Private Synthetic Data Using KD-Trees [11.96971298978997]
  ノイズ摂動とともに空間分割技術を活用し,直観的かつ透過的なアルゴリズムを実現する。 我々は、$epsilon$-differentially private synthesis data generationのためのデータ独立アルゴリズムとデータ依存アルゴリズムの両方を提案する。 先行研究に対して実証的な実用性向上を示すとともに,実データセット上の下流分類タスクにおけるアルゴリズムの性能について考察する。
  論文  参考訳（メタデータ） (2023-06-19T17:08:32Z)
• Private Set Generation with Discriminative Information [63.851085173614]
  異なるプライベートなデータ生成は、データプライバシの課題に対する有望な解決策である。 既存のプライベートな生成モデルは、合成サンプルの有用性に苦慮している。 我々は,最先端アプローチのサンプルユーティリティを大幅に改善する,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T10:02:55Z)
• DP2-Pub: Differentially Private High-Dimensional Data Publication with Invariant Post Randomization [58.155151571362914]
  本稿では,2つのフェーズで動作する差分プライベートな高次元データパブリッシング機構(DP2-Pub)を提案する。 属性をクラスタ内凝集度の高い低次元クラスタに分割し、クラスタ間の結合度を低くすることで、適切なプライバシ予算を得ることができる。 また、DP2-Pubメカニズムを、ローカルの差分プライバシーを満たす半正直なサーバでシナリオに拡張します。
  論文  参考訳（メタデータ） (2022-08-24T17:52:43Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Privacy-Preserving Adversarial Network (PPAN) for Continuous non-Gaussian Attributes [6.657723602564176]
  データ共有におけるプライバシの問題に対処するために、プライバシ保護敵ネットワーク(PPAN)が最近提案されている。 本研究では,プライバシ保存問題の下位値と上位値を使用する連続的な非ガウスデータに対するPPANモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-03-11T15:29:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。