論文の概要: Matching Normalizing Flows and Probability Paths on Manifolds

• arxiv url: http://arxiv.org/abs/2207.04711v1
• Date: Mon, 11 Jul 2022 08:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 13:32:20.562588
• Title: Matching Normalizing Flows and Probability Paths on Manifolds
• Title（参考訳）: 多様体上の正規化流れと確率経路のマッチング
• Authors: Heli Ben-Hamu, Samuel Cohen, Joey Bose, Brandon Amos, Aditya Grover, Maximilian Nickel, Ricky T.Q. Chen, Yaron Lipman
• Abstract要約: 連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。 我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。 PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
• 参考スコア（独自算出の注目度）: 57.95251557443005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous Normalizing Flows (CNFs) are a class of generative models that transform a prior distribution to a model distribution by solving an ordinary differential equation (ODE). We propose to train CNFs on manifolds by minimizing probability path divergence (PPD), a novel family of divergences between the probability density path generated by the CNF and a target probability density path. PPD is formulated using a logarithmic mass conservation formula which is a linear first order partial differential equation relating the log target probabilities and the CNF's defining vector field. PPD has several key benefits over existing methods: it sidesteps the need to solve an ODE per iteration, readily applies to manifold data, scales to high dimensions, and is compatible with a large family of target paths interpolating pure noise and data in finite time. Theoretically, PPD is shown to bound classical probability divergences. Empirically, we show that CNFs learned by minimizing PPD achieve state-of-the-art results in likelihoods and sample quality on existing low-dimensional manifold benchmarks, and is the first example of a generative model to scale to moderately high dimensional manifolds.
• Abstract（参考訳）: 連続正規化フロー(cnfs)は、通常の微分方程式(ode)を解いて、事前分布をモデル分布に変換する生成モデルの一種である。 本稿では,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,多様体上のCNFを訓練することを提案する。 PPDは、対数目標確率とCNFの定義ベクトル場に関する線形一階偏微分方程式である対数的質量保存公式を用いて定式化される。 PPDは、イテレーション毎にODEを解く必要性を横取りし、多様体データに簡単に適用し、高次元にスケールし、純粋なノイズとデータを有限時間で補間するターゲットパスの大規模なファミリーと互換性がある。 理論的には、ppd は束縛された古典的確率の発散を示す。 実験により, PPD の最小化によって得られた CNF は, 既存の低次元多様体のベンチマークにおいて, 精度とサンプル品質が得られることを示すとともに, 適度に高次元の多様体にスケールする生成モデルの最初の例である。

関連論文リスト

• Discrete Flow Matching [74.04153927689313]
  本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。 我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
  論文  参考訳（メタデータ） (2024-07-22T12:33:27Z)
• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
  正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。 標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。 本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-20T09:31:35Z)
• Flow Matching for Generative Modeling [44.66897082688762]
  フローマッチングは、連続正規化フロー(CNF)のトレーニングのためのシミュレーション不要なアプローチである 拡散経路を持つFMを用いることで、より堅牢で安定した拡散モデルの代替となることが判明した。 ImageNet上でFlow Matchingを使用したCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-10-06T08:32:20Z)
• ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
  正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。 摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。 最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
  論文  参考訳（メタデータ） (2022-08-18T16:07:59Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。