論文の概要: Learning Implicit Generative Models with Theoretical Guarantees
- arxiv url: http://arxiv.org/abs/2002.02862v2
- Date: Mon, 17 Feb 2020 14:26:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 04:02:31.515457
- Title: Learning Implicit Generative Models with Theoretical Guarantees
- Title(参考訳): 理論的保証による暗黙的生成モデル学習
- Authors: Yuan Gao and Jian Huang and Yuling Jiao and Jin Liu
- Abstract要約: 我々はtextbfimplicit textbfmodeling (UnifiGem) のためのtextbfunified textbfframework を提案する。
UnifiGemは、最適輸送、数値ODE、密度比(密度差)推定、ディープニューラルネットワークのアプローチを統合する。
合成データセットと実ベンチマークデータセットの両方の実験結果は、我々の理論的な結果をサポートし、UnifiGemの有効性を実証する。
- 参考スコア(独自算出の注目度): 12.761710596142109
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a \textbf{uni}fied \textbf{f}ramework for \textbf{i}mplicit
\textbf{ge}nerative \textbf{m}odeling (UnifiGem) with theoretical guarantees by
integrating approaches from optimal transport, numerical ODE, density-ratio
(density-difference) estimation and deep neural networks. First, the problem of
implicit generative learning is formulated as that of finding the optimal
transport map between the reference distribution and the target distribution,
which is characterized by a totally nonlinear Monge-Amp\`{e}re equation.
Interpreting the infinitesimal linearization of the Monge-Amp\`{e}re equation
from the perspective of gradient flows in measure spaces leads to the
continuity equation or the McKean-Vlasov equation. We then solve the
McKean-Vlasov equation numerically using the forward Euler iteration, where the
forward Euler map depends on the density ratio (density difference) between the
distribution at current iteration and the underlying target distribution. We
further estimate the density ratio (density difference) via deep density-ratio
(density-difference) fitting and derive explicit upper bounds on the estimation
error. Experimental results on both synthetic datasets and real benchmark
datasets support our theoretical findings and demonstrate the effectiveness of
UnifiGem.
- Abstract(参考訳): 本稿では,最適移動量,数値ode,密度比(密度拡散)推定,深層ニューラルネットワークのアプローチを統合することで,理論的な保証を施した \textbf{uni}fied \textbf{f}ramework for \textbf{i}mplicit \textbf{ge}nerative \textbf{m}odeling (unifigem)を提案する。
第一に、暗黙的生成学習の問題は、基準分布と目標分布の間の最適輸送マップを見つけるための問題として定式化され、これは完全に非線形なMonge-Amp\`{e}re方程式によって特徴づけられる。
測度空間の勾配流の観点から、モンゲ・アンプ・`{e}re方程式の無限小線型化を解釈すると、連続性方程式やマッケイン・ブラソフ方程式が導かれる。
次に、前方オイラー写像が現在の反復における分布と対象分布との密度比(密度差)に依存するような前方オイラー反復を用いて、マッケアン・ヴラソフ方程式を数値的に解く。
さらに、密度比(密度差)を深度比(密度差)フィッティングにより推定し、推定誤差の明示的な上限を導出する。
合成データセットと実ベンチマークデータセットの両方の実験結果は、我々の理論的結果をサポートし、UnifiGemの有効性を実証する。
関連論文リスト
- Deep Conditional Generative Learning: Model and Error Analysis [3.4623717820849476]
本稿では,Folmer Flowという条件分布を学習するための正規微分方程式に基づく深層生成手法を提案する。
実効的な実装のために、我々は、ディープニューラルネットワークを用いて非パラメトリックに速度場を推定する条件付き手法を用いて流れを識別する。
本研究では,学習したサンプルの分布と対象分布との間のワッサーシュタイン距離における非漸近収束率を導出し,ODEフローによる条件分布学習のための第1の総合的エンドツーエンド誤差解析を行う。
論文 参考訳(メタデータ) (2024-02-02T14:52:10Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Sampling and estimation on manifolds using the Langevin diffusion [48.898189211250234]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳(メタデータ) (2023-12-22T18:01:11Z) - Flow-based Distributionally Robust Optimization [23.232731771848883]
We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。
我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。
本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
論文 参考訳(メタデータ) (2023-10-30T03:53:31Z) - Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。
この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文 参考訳(メタデータ) (2023-07-25T18:47:53Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T06:26:29Z) - Deep Generative Learning via Schr\"{o}dinger Bridge [14.138796631423954]
エントロピーにより生成モデルをSchr"odinger Bridgeで学習する。
Schr"odinger Bridge による生成モデルは最先端の GAN に匹敵することを示す。
論文 参考訳(メタデータ) (2021-06-19T03:35:42Z) - Generative Learning With Euler Particle Transport [14.557451744544592]
生成学習のためのユーラー粒子輸送(EPT)手法を提案する。
提案手法は, 基準分布から目標分布への最適輸送マップの探索の問題に動機付けられている。
提案する密度比(差分)推定器は,データが低次元多様体上で支持されている場合,「次元の曲線」に支障を来さないことを示す。
論文 参考訳(メタデータ) (2020-12-11T03:10:53Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳(メタデータ) (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。