論文の概要: Convergence of Continuous Normalizing Flows for Learning Probability Distributions
- arxiv url: http://arxiv.org/abs/2404.00551v1
- Date: Sun, 31 Mar 2024 03:39:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 03:00:38.386078
- Title: Convergence of Continuous Normalizing Flows for Learning Probability Distributions
- Title（参考訳）: 確率分布学習のための連続正規化流れの収束性
- Authors: Yuan Gao, Jian Huang, Yuling Jiao, Shurong Zheng,
- Abstract要約: 連続正規化フロー (Continuous normalizing flow, CNFs) は確率分布を学習するための生成法である。
有限ランダムサンプルからの学習確率分布における線形正則性を持つCNFの理論的性質について検討する。
本稿では,速度推定,離散化誤差,早期停止誤差による誤差を包含する収束解析フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 10.381321024264484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continuous normalizing flows (CNFs) are a generative method for learning probability distributions, which is based on ordinary differential equations. This method has shown remarkable empirical success across various applications, including large-scale image synthesis, protein structure prediction, and molecule generation. In this work, we study the theoretical properties of CNFs with linear interpolation in learning probability distributions from a finite random sample, using a flow matching objective function. We establish non-asymptotic error bounds for the distribution estimator based on CNFs, in terms of the Wasserstein-2 distance. The key assumption in our analysis is that the target distribution satisfies one of the following three conditions: it either has a bounded support, is strongly log-concave, or is a finite or infinite mixture of Gaussian distributions. We present a convergence analysis framework that encompasses the error due to velocity estimation, the discretization error, and the early stopping error. A key step in our analysis involves establishing the regularity properties of the velocity field and its estimator for CNFs constructed with linear interpolation. This necessitates the development of uniform error bounds with Lipschitz regularity control of deep ReLU networks that approximate the Lipschitz function class, which could be of independent interest. Our nonparametric convergence analysis offers theoretical guarantees for using CNFs to learn probability distributions from a finite random sample.
- Abstract（参考訳）: 連続正規化フロー (Continuous normalizing flow, CNFs) は、通常の微分方程式に基づく確率分布の学習法である。
この手法は、大規模画像合成、タンパク質構造予測、分子生成など、様々な応用において顕著な成功を示している。
本研究では,有限ランダムサンプルからの学習確率分布の線形補間によるCNFの理論的特性について,フローマッチング目的関数を用いて検討する。
CNFsに基づく分布推定器の非漸近誤差境界をワッサーシュタイン2距離の観点から確立する。
我々の分析における重要な仮定は、対象分布が以下の3つの条件のうちの1つを満たすことである: 有界な支持を持ち、強い対数圏を持ち、あるいはガウス分布の有限あるいは無限の混合である。
本稿では,速度推定,離散化誤差,早期停止誤差による誤差を包含する収束解析フレームワークを提案する。
解析における重要なステップは、線形補間により構築されたCNFに対する速度場とその推定器の正則性を確立することである。
このことは、リプシッツ関数クラスを近似するディープ ReLU ネットワークのリプシッツ正則性制御を伴う一様誤差境界の開発を必要とする。
我々の非パラメトリック収束解析は、CNFを用いて有限ランダムサンプルから確率分布を学習する理論的保証を提供する。
関連論文リスト
- Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。
我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。
PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
論文 参考訳（メタデータ） (2022-07-11T08:50:19Z) - Predicting conditional probability distributions of redshifts of Active
Galactic Nuclei using Hierarchical Correlation Reconstruction [0.8702432681310399]
本稿では,条件付き確率分布を安価に予測するために階層的相関再構成(HCR)手法を適用する。
我々は解釈可能なモデルを得る:条件付きモーメントに対する特徴の寄与を記述する係数を持つ。
本稿では、特にCCA(Canonical correlation Analysis)を用いて特徴最適化とl1"lasso"正規化を行う。
論文 参考訳（メタデータ） (2022-06-13T14:28:53Z) - Learning Distributions by Generative Adversarial Networks: Approximation
and Generalization [0.6768558752130311]
本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。
我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。
生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
論文 参考訳（メタデータ） (2022-05-25T09:26:17Z) - GANs as Gradient Flows that Converge [3.8707695363745223]
分布依存常微分方程式によって誘導される勾配流に沿って、未知のデータ分布が長時間の極限として現れることを示す。
ODEのシミュレーションは、生成ネットワーク(GAN)のトレーニングと等価である。
この等価性は、GANの新たな「協力的」見解を提供し、さらに重要なのは、GANの多様化に新たな光を放つことである。
論文 参考訳（メタデータ） (2022-05-05T20:29:13Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Off-Policy Fitted Q-Evaluation with Differentiable Function
Approximators: Z-Estimation and Inference Theory [34.307187875861516]
強化学習(Reinforcement Learning, RL)における基盤の1つとして, オフ・ポリティ・アセスメント(Off-Policy Evaluation)が有効である
本稿では,一般微分関数近似器を用いたFQEに着目し,この理論を神経機能近似に適用する。
有限サンプル FQE 誤差境界は同じ分散項で支配され、関数クラス依存の発散でも有界である。
論文 参考訳（メタデータ） (2022-02-10T11:59:54Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。