論文の概要: Differentially Private Gradient Flow based on the Sliced Wasserstein Distance
- arxiv url: http://arxiv.org/abs/2312.08227v2
- Date: Mon, 29 Jul 2024 14:50:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 00:26:37.284068
- Title: Differentially Private Gradient Flow based on the Sliced Wasserstein Distance
- Title(参考訳): スライスワッサースタイン距離に基づく微分プライベート勾配流
- Authors: Ilana Sebag, Muni Sreenivas Pydi, Jean-Yves Franceschi, Alain Rakotomamonjy, Mike Gartrell, Jamal Atif, Alexandre Allauzen,
- Abstract要約: 本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデリング手法を提案する。
実験により,提案モデルが低プライバシー予算で高忠実度データを生成可能であることが示された。
- 参考スコア(独自算出の注目度): 59.1056830438845
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Safeguarding privacy in sensitive training data is paramount, particularly in the context of generative modeling. This can be achieved through either differentially private stochastic gradient descent or a differentially private metric for training models or generators. In this paper, we introduce a novel differentially private generative modeling approach based on a gradient flow in the space of probability measures. To this end, we define the gradient flow of the Gaussian-smoothed Sliced Wasserstein Distance, including the associated stochastic differential equation (SDE). By discretizing and defining a numerical scheme for solving this SDE, we demonstrate the link between smoothing and differential privacy based on a Gaussian mechanism, due to a specific form of the SDE's drift term. We then analyze the differential privacy guarantee of our gradient flow, which accounts for both the smoothing and the Wiener process introduced by the SDE itself. Experiments show that our proposed model can generate higher-fidelity data at a low privacy budget compared to a generator-based model, offering a promising alternative.
- Abstract(参考訳): センシティブなトレーニングデータにおけるプライバシの保護は、特に生成モデリングの文脈において最重要である。
これは、差分的にプライベートな確率勾配降下または訓練モデルまたはジェネレータのための差分的にプライベートな計量によって達成できる。
本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデルを提案する。
この目的のために、関連する確率微分方程式(SDE)を含むガウス平滑スライスワッサーシュタイン距離の勾配流を定義する。
このSDEを解くための数値的スキームを離散化して定義することにより、SDEのドリフト項の特定の形式によるガウス機構に基づくスムーズ化と微分プライバシーの関係を実証する。
次に、SDE自体が導入したスムーズなプロセスとWienerプロセスの両方を考慮に入れた勾配流の差分プライバシー保証を分析する。
実験により,提案モデルでは,ジェネレータベースモデルと比較して,低プライバシー予算で高忠実度データを生成できることが示唆された。
関連論文リスト
- Discrete Flow Matching [74.04153927689313]
本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。
我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
論文 参考訳(メタデータ) (2024-07-22T12:33:27Z) - On the Computational Complexity of Private High-dimensional Model Selection [18.964255744068122]
プライバシー制約下での高次元疎線形回帰におけるモデル選択の問題点を考察する。
そこで本研究では,よく知られた指数モデルを用いて,高い効用性を有する微分プライベートなベストサブセット選択法を提案する。
論文 参考訳(メタデータ) (2023-10-11T19:53:15Z) - Differentially Private Statistical Inference through $\beta$-Divergence
One Posterior Sampling [2.8544822698499255]
本稿では,モデルとデータ生成プロセス間の$beta$-divergenceの最小化を目標とした,一般化後部からの後部サンプリング手法を提案する。
これにより、基礎となるモデルの変更を必要とせずに、一般的に適用可能なプライベートな推定が可能になる。
我々は、$beta$D-Bayesが同一のプライバシー保証に対してより正確な推測を行うことを示す。
論文 参考訳(メタデータ) (2023-07-11T12:00:15Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳(メタデータ) (2023-06-13T17:56:02Z) - Learning Differentially Private Probabilistic Models for
Privacy-Preserving Image Generation [67.47979276739144]
差分プライバシー保証付き高解像度画像を生成するために,差分プライベート確率モデルの学習を提案する。
我々のアプローチは、目立った視覚的品質とデータユーティリティで256x256までの画像を生成することができる。
論文 参考訳(メタデータ) (2023-05-18T02:51:17Z) - Network Generation with Differential Privacy [4.297070083645049]
我々は、プライベート情報を含む実世界のグラフのプライベートな合成版を生成する問題について考察する。
本稿では,エッジ差分プライバシーを維持しつつ,実世界のネットワーク特性を再現できる生成モデルを提案する。
論文 参考訳(メタデータ) (2021-11-17T13:07:09Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - High-Dimensional Differentially-Private EM Algorithm: Methods and
Near-Optimal Statistical Guarantees [8.089708900273804]
高次元潜在変数モデルにおける差分プライベート期待最大化(EM)アルゴリズムを設計するための一般的なフレームワークを開発している。
各モデルにおいて、差分プライバシー制約による収束のほぼ最適度を確立する。
この設定では、差分プライバシーを保証する近レート最適EMアルゴリズムを提案します。
論文 参考訳(メタデータ) (2021-04-01T04:08:34Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。