論文の概要: Differentially Private Gradient Flow based on the Sliced Wasserstein Distance
- arxiv url: http://arxiv.org/abs/2312.08227v2
- Date: Mon, 29 Jul 2024 14:50:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 00:26:37.284068
- Title: Differentially Private Gradient Flow based on the Sliced Wasserstein Distance
- Title（参考訳）: スライスワッサースタイン距離に基づく微分プライベート勾配流
- Authors: Ilana Sebag, Muni Sreenivas Pydi, Jean-Yves Franceschi, Alain Rakotomamonjy, Mike Gartrell, Jamal Atif, Alexandre Allauzen,
- Abstract要約: 本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデリング手法を提案する。
実験により,提案モデルが低プライバシー予算で高忠実度データを生成可能であることが示された。
- 参考スコア（独自算出の注目度）: 59.1056830438845
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Safeguarding privacy in sensitive training data is paramount, particularly in the context of generative modeling. This can be achieved through either differentially private stochastic gradient descent or a differentially private metric for training models or generators. In this paper, we introduce a novel differentially private generative modeling approach based on a gradient flow in the space of probability measures. To this end, we define the gradient flow of the Gaussian-smoothed Sliced Wasserstein Distance, including the associated stochastic differential equation (SDE). By discretizing and defining a numerical scheme for solving this SDE, we demonstrate the link between smoothing and differential privacy based on a Gaussian mechanism, due to a specific form of the SDE's drift term. We then analyze the differential privacy guarantee of our gradient flow, which accounts for both the smoothing and the Wiener process introduced by the SDE itself. Experiments show that our proposed model can generate higher-fidelity data at a low privacy budget compared to a generator-based model, offering a promising alternative.
- Abstract（参考訳）: センシティブなトレーニングデータにおけるプライバシの保護は、特に生成モデリングの文脈において最重要である。
これは、差分的にプライベートな確率勾配降下または訓練モデルまたはジェネレータのための差分的にプライベートな計量によって達成できる。
本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデルを提案する。
この目的のために、関連する確率微分方程式(SDE)を含むガウス平滑スライスワッサーシュタイン距離の勾配流を定義する。
このSDEを解くための数値的スキームを離散化して定義することにより、SDEのドリフト項の特定の形式によるガウス機構に基づくスムーズ化と微分プライバシーの関係を実証する。
次に、SDE自体が導入したスムーズなプロセスとWienerプロセスの両方を考慮に入れた勾配流の差分プライバシー保証を分析する。
実験により,提案モデルでは,ジェネレータベースモデルと比較して,低プライバシー予算で高忠実度データを生成できることが示唆された。
関連論文リスト
- Schr\"odinger bridge based deep conditional generative learning [0.0]
我々は条件分布を学習するための新しいSchr"odinger Bridgeに基づく深層生成手法を提案する。
本手法を低次元および高次元条件生成問題に適用する。
論文 参考訳（メタデータ） (2024-09-25T19:08:13Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Noise in the reverse process improves the approximation capabilities of
diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文 参考訳（メタデータ） (2023-12-13T02:39:10Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳（メタデータ） (2023-06-13T17:56:02Z) - High-dimensional scaling limits and fluctuations of online least-squares SGD with smooth covariance [16.652085114513273]
オンライン最小二乗勾配 Descent (SGD) アルゴリズムの高次元スケーリング限界とゆらぎを導出する。
その結果, 平均二乗推定や予測誤差の制限や変動など, いくつかの応用が得られた。
論文 参考訳（メタデータ） (2023-04-03T03:50:00Z) - Score-based Generative Modeling of Graphs via the System of Stochastic
Differential Equations [57.15855198512551]
本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。
本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
論文 参考訳（メタデータ） (2022-02-05T08:21:04Z) - Differentially Private Sliced Wasserstein Distance [5.330240017302619]
差分プライバシ(DP)フレームワーク下での分散の分散を計算する観点を考察する。
Sliced Wasserstein Distance に焦点をあてて,DP の勾配型衛生法に代えて根本問題に取り組む。
論文 参考訳（メタデータ） (2021-07-05T08:06:02Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳（メタデータ） (2020-11-26T19:39:10Z) - Identifying Latent Stochastic Differential Equations [29.103393300261587]
本研究では,高次元時系列データから潜時微分方程式(SDE)を学習する手法を提案する。
提案手法は,自己教師付き学習手法を用いて,環境空間から潜時空間へのマッピングと,基礎となるSDE係数を学習する。
提案手法の検証には,SDEの基盤となる複数のビデオ処理タスク,および実世界のデータセットを用いて行う。
論文 参考訳（メタデータ） (2020-07-12T19:46:31Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳（メタデータ） (2020-02-21T20:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。