論文の概要: Building Normalizing Flows with Stochastic Interpolants
- arxiv url: http://arxiv.org/abs/2209.15571v1
- Date: Fri, 30 Sep 2022 16:30:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 14:48:59.594527
- Title: Building Normalizing Flows with Stochastic Interpolants
- Title（参考訳）: 確率補間による正規化流れの構築
- Authors: Michael S. Albergo and Eric Vanden-Eijnden
- Abstract要約: 一対の基底分布と対象分布の間の連続時間正規化フローに基づく単純な2次モデルを提案する。
この流れの速度場は、基地と目標の間を有限時間で補間する時間依存分布の確率電流から推定される。
- 参考スコア（独自算出の注目度）: 11.22149158986164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A simple generative model based on a continuous-time normalizing flow between
any pair of base and target distributions is proposed. The velocity field of
this flow is inferred from the probability current of a time-dependent
distribution that interpolates between the base and the target in finite time.
Unlike conventional normalizing flow inference methods based the maximum
likelihood principle, which require costly backpropagation through ODE solvers,
our interpolant approach leads to a simple quadratic loss for the velocity
itself which is expressed in terms of expectations that are readily amenable to
empirical estimation. The flow can be used to generate samples from either the
base or target, and can be used to estimate the likelihood at any time along
the interpolant. The approach is contextualized in its relation to diffusions.
In particular, in situations where the base is a Gaussian distribution, we show
that the velocity of our normalizing flow can also be used to construct a
diffusion model to sample the target as well as estimating its score. This
allows one to map methods based on stochastic differential equations to those
of ordinary differential equations, simplifying the mechanics of the model, but
capturing equivalent dynamics. Benchmarking on density estimation tasks
illustrates that the learned flow can match and surpass maximum likelihood
continuous flows at a fraction of the conventional ODE training costs.
- Abstract（参考訳）: 任意の基底分布と対象分布の間の連続時間正規化フローに基づく単純な生成モデルを提案する。
この流れの速度場は、有限時間にベースとターゲットの間を補間する時間依存分布の確率電流から推測される。
従来の正規化フロー推論法とは異なり、ODEソルバによるコストのかかるバックプロパゲーションを必要とする最大極大原理では、補間手法は、経験的推定に容易に対応可能な期待値で表される速度自体の単純な二次的損失をもたらす。
フローはベースまたはターゲットからサンプルを生成するために使用することができ、インターポーラントに沿っていつでも確率を推定するために使用することができる。
このアプローチは拡散との関係で文脈化されている。
特に、ベースがガウス分布である状況において、正規化フローの速度は、ターゲットをサンプリングし、スコアを推定するために拡散モデルを構築するためにも利用できることを示す。
これにより、確率微分方程式に基づく手法を通常の微分方程式の手法にマッピングし、モデルの力学を単純化し、等価ダイナミクスを捉えることができる。
密度推定タスクのベンチマークは、学習フローが従来のodeトレーニングコストのごく一部で最大精度の連続フローと一致し、超過できることを示しています。
関連論文リスト
- Conditional Lagrangian Wasserstein Flow for Time Series Imputation [3.914746375834628]
本研究では,条件付きラグランジアンワッサースタイン流という時系列計算法を提案する。
提案手法は(条件付き)最適輸送理論を利用して,シミュレーションのない方法で確率流を学習する。
実単語データセットを用いた実験結果から,提案手法は時系列計算における競合性能を実現することが示された。
論文 参考訳（メタデータ） (2024-10-10T02:46:28Z) - Flow matching achieves almost minimax optimal convergence [50.38891696297888]
フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。
本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。
我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
論文 参考訳（メタデータ） (2024-05-31T14:54:51Z) - Deep conditional distribution learning via conditional Föllmer flow [3.227277661633986]
本研究では,条件F"ollmer Flow"という条件分布を学習するための常微分方程式(ODE)に基づく深部生成手法を提案する。
効率的な実装のために、我々は、深層ニューラルネットワークを用いて非パラメトリックに速度場を推定するオイラー法を用いて流れを判別する。
論文 参考訳（メタデータ） (2024-02-02T14:52:10Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Stochastic Interpolants: A Unifying Framework for Flows and Diffusions [16.95541777254722]
フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。
これらのモデルは、Albergo & VandenEijnden (2023) で提案されたフレームワークを拡張し、確率補間子と呼ばれる広範囲の連続時間プロセスの使用を可能にする。
これらの補間材は、2つの所定の密度のデータと、橋を柔軟に形作る追加の潜伏変数を組み合わせることで構築される。
論文 参考訳（メタデータ） (2023-03-15T17:43:42Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-22T06:26:29Z) - Resampling Base Distributions of Normalizing Flows [0.0]
学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。
ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-10-29T14:44:44Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。