論文の概要: Generative Learning With Euler Particle Transport
- arxiv url: http://arxiv.org/abs/2012.06094v1
- Date: Fri, 11 Dec 2020 03:10:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 09:51:33.777899
- Title: Generative Learning With Euler Particle Transport
- Title(参考訳): Euler Particle Transportによる生成学習
- Authors: Yuan Gao, Jian Huang, Yuling Jiao, Jin Liu, Xiliang Lu and Zhijian
Yang
- Abstract要約: 生成学習のためのユーラー粒子輸送(EPT)手法を提案する。
提案手法は, 基準分布から目標分布への最適輸送マップの探索の問題に動機付けられている。
提案する密度比(差分)推定器は,データが低次元多様体上で支持されている場合,「次元の曲線」に支障を来さないことを示す。
- 参考スコア(独自算出の注目度): 14.557451744544592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an Euler particle transport (EPT) approach for generative
learning. The proposed approach is motivated by the problem of finding an
optimal transport map from a reference distribution to a target distribution
characterized by the Monge-Ampere equation. Interpreting the infinitesimal
linearization of the Monge-Ampere equation from the perspective of gradient
flows in measure spaces leads to a stochastic McKean-Vlasov equation. We use
the forward Euler method to solve this equation. The resulting forward Euler
map pushes forward a reference distribution to the target. This map is the
composition of a sequence of simple residual maps, which are computationally
stable and easy to train. The key task in training is the estimation of the
density ratios or differences that determine the residual maps. We estimate the
density ratios (differences) based on the Bregman divergence with a gradient
penalty using deep density-ratio (difference) fitting. We show that the
proposed density-ratio (difference) estimators do not suffer from the "curse of
dimensionality" if data is supported on a lower-dimensional manifold. Numerical
experiments with multi-mode synthetic datasets and comparisons with the
existing methods on real benchmark datasets support our theoretical results and
demonstrate the effectiveness of the proposed method.
- Abstract(参考訳): 生成学習のためのEuler Particle Transport (EPT) アプローチを提案する。
提案手法は,モンジュ・アンペア方程式を特徴とする目標分布に対する基準分布から最適輸送マップを求める問題に動機づけられる。
測度空間の勾配流の観点から、モンゲ・アンペア方程式の無限小線型化を解釈すると、確率的マッケイン・ブラソフ方程式が導かれる。
我々はこの方程式を解くためにフォワードオイラー法を用いる。
結果として生じる前方オイラー写像は、目標への参照分布を前進させる。
この写像は単純な剰余写像の列の合成であり、計算的に安定であり、訓練が容易である。
トレーニングにおける重要なタスクは、残留マップを決定する密度比や差を推定することである。
深部密度比(差分)フィッティングを用いた勾配ペナルティを伴うブレグマン分岐に基づいて密度比(差分)を推定する。
提案する密度比(差分)推定器は,データが低次元多様体上で支持されている場合,「次元の曲線」に支障を来さないことを示す。
多モード合成データセットを用いた数値実験と実ベンチマークデータセットにおける既存手法との比較により,提案手法の有効性が示された。
関連論文リスト
- Sequential transport maps using SoS density estimation and
$\alpha$-divergences [0.6554326244334866]
輸送ベース密度推定法は, 近似密度から試料を効率よく生成できるため, 関心が高まりつつある。
我々は、合成されたKnothe-Rosenblatt (KR) マップの列の上に構築し、中間密度を近似する Sum-of-Squareimats (SoS) 密度と$alpha$-divergences の利用を探索する。
ベイジアン推論問題や教師なし学習タスクなど,いくつかのベンチマークで数値的に手法を実証する。
論文 参考訳(メタデータ) (2024-02-27T23:52:58Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Sampling and estimation on manifolds using the Langevin diffusion [48.898189211250234]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳(メタデータ) (2023-12-22T18:01:11Z) - Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.9558392439655016]
動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。
提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。
実験により, 有効試料当たりの勾配評価の数は, 不正確な勾配を用いた場合においても, 寸法に依存しないことが示唆された。
論文 参考訳(メタデータ) (2023-11-08T21:19:52Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳(メタデータ) (2023-05-30T21:07:52Z) - Diffuse-Denoise-Count: Accurate Crowd-Counting with Diffusion Models [49.59991322513561]
我々は,JHU-CROWD++で最大6%,UCF-QNRFで最大7%の誤差を改善する新しい群集カウントパイプラインを開発した。
論文 参考訳(メタデータ) (2023-03-22T17:58:01Z) - Gaussian process regression and conditional Karhunen-Lo\'{e}ve models
for data assimilation in inverse problems [68.8204255655161]
偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。
CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
論文 参考訳(メタデータ) (2023-01-26T18:14:12Z) - Near-optimal estimation of smooth transport maps with kernel
sums-of-squares [81.02564078640275]
滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。
生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。
そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-03T13:45:36Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T06:26:29Z) - Deep Generative Learning via Schr\"{o}dinger Bridge [14.138796631423954]
エントロピーにより生成モデルをSchr"odinger Bridgeで学習する。
Schr"odinger Bridge による生成モデルは最先端の GAN に匹敵することを示す。
論文 参考訳(メタデータ) (2021-06-19T03:35:42Z) - Learning Implicit Generative Models with Theoretical Guarantees [12.761710596142109]
我々はtextbfimplicit textbfmodeling (UnifiGem) のためのtextbfunified textbfframework を提案する。
UnifiGemは、最適輸送、数値ODE、密度比(密度差)推定、ディープニューラルネットワークのアプローチを統合する。
合成データセットと実ベンチマークデータセットの両方の実験結果は、我々の理論的な結果をサポートし、UnifiGemの有効性を実証する。
論文 参考訳(メタデータ) (2020-02-07T15:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。