論文の概要: Differentially Private Gradient Flow based on the Sliced Wasserstein Distance for Non-Parametric Generative Modeling

• arxiv url: http://arxiv.org/abs/2312.08227v1
• Date: Wed, 13 Dec 2023 15:47:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:03:14.317720
• Title: Differentially Private Gradient Flow based on the Sliced Wasserstein Distance for Non-Parametric Generative Modeling
• Title（参考訳）: 非パラメトリック生成モデルのためのスライスワッサースタイン距離に基づく微分プライベート勾配流れ
• Authors: Ilana Sebag, Muni Sreenivas PYDI, Jean-Yves Franceschi, Alain Rakotomamonjy, Mike Gartrell, Jamal Atif, Alexandre Allauzen
• Abstract要約: 確率測度空間におけるパラメータフリー勾配流に基づく、新しい微分プライベートな生成モデリング手法を提案する。 提案手法は,ジェネレータベースモデルと比較して,低プライバシー予算で高忠実度データを生成可能であることを示す。
• 参考スコア（独自算出の注目度）: 61.65137699747604
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Safeguarding privacy in sensitive training data is paramount, particularly in the context of generative modeling. This is done through either differentially private stochastic gradient descent, or with a differentially private metric for training models or generators. In this paper, we introduce a novel differentially private generative modeling approach based on parameter-free gradient flows in the space of probability measures. The proposed algorithm is a new discretized flow which operates through a particle scheme, utilizing drift derived from the sliced Wasserstein distance and computed in a private manner. Our experiments show that compared to a generator-based model, our proposed model can generate higher-fidelity data at a low privacy budget, offering a viable alternative to generator-based approaches.
• Abstract（参考訳）: センシティブなトレーニングデータにおけるプライバシーの保護は、特に生成モデリングの文脈において最重要である。 これは、微分プライベート確率勾配降下またはモデルやジェネレータを訓練するための微分プライベート計量によって行われる。 本稿では,確率測度の空間におけるパラメータフリー勾配流に基づく微分プライベート生成モデリング手法を提案する。 提案アルゴリズムは,スライスされたワッサーシュタイン距離から導出されるドリフトを利用して,粒子スキームを介して動作し,プライベートに計算する新しい離散流である。 提案モデルでは, ジェネレータベースモデルと比較して, プライバシの低い予算で高忠実度データを生成することができ, ジェネレータベースのアプローチに代わる有効な代替手段を提供する。

関連論文リスト

• Schr\"odinger bridge based deep conditional generative learning [0.0]
  我々は条件分布を学習するための新しいSchr"odinger Bridgeに基づく深層生成手法を提案する。 本手法を低次元および高次元条件生成問題に適用する。
  論文  参考訳（メタデータ） (2024-09-25T19:08:13Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Noise in the reverse process improves the approximation capabilities of diffusion models [27.65800389807353]
  生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。 本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。 我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
  論文  参考訳（メタデータ） (2023-12-13T02:39:10Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• High-dimensional scaling limits and fluctuations of online least-squares SGD with smooth covariance [16.652085114513273]
  オンライン最小二乗勾配 Descent (SGD) アルゴリズムの高次元スケーリング限界とゆらぎを導出する。 その結果, 平均二乗推定や予測誤差の制限や変動など, いくつかの応用が得られた。
  論文  参考訳（メタデータ） (2023-04-03T03:50:00Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)
• Differentially Private Sliced Wasserstein Distance [5.330240017302619]
  差分プライバシ(DP)フレームワーク下での分散の分散を計算する観点を考察する。 Sliced Wasserstein Distance に焦点をあてて,DP の勾配型衛生法に代えて根本問題に取り組む。
  論文  参考訳（メタデータ） (2021-07-05T08:06:02Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Identifying Latent Stochastic Differential Equations [29.103393300261587]
  本研究では,高次元時系列データから潜時微分方程式(SDE)を学習する手法を提案する。 提案手法は,自己教師付き学習手法を用いて,環境空間から潜時空間へのマッピングと,基礎となるSDE係数を学習する。 提案手法の検証には,SDEの基盤となる複数のビデオ処理タスク,および実世界のデータセットを用いて行う。
  論文  参考訳（メタデータ） (2020-07-12T19:46:31Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。