論文の概要: Flow Matching for Generative Modeling
- arxiv url: http://arxiv.org/abs/2210.02747v1
- Date: Thu, 6 Oct 2022 08:32:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 15:05:49.456841
- Title: Flow Matching for Generative Modeling
- Title(参考訳): ジェネレーティブモデリングのためのフローマッチング
- Authors: Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, Matt
Le
- Abstract要約: フローマッチングは、連続正規化フロー(CNF)のトレーニングのためのシミュレーション不要なアプローチである
拡散経路を持つFMを用いることで、より堅牢で安定した拡散モデルの代替となることが判明した。
ImageNet上でFlow Matchingを使用したCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらす。
- 参考スコア(独自算出の注目度): 44.66897082688762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new paradigm for generative modeling built on Continuous
Normalizing Flows (CNFs), allowing us to train CNFs at unprecedented scale.
Specifically, we present the notion of Flow Matching (FM), a simulation-free
approach for training CNFs based on regressing vector fields of fixed
conditional probability paths. Flow Matching is compatible with a general
family of Gaussian probability paths for transforming between noise and data
samples -- which subsumes existing diffusion paths as specific instances.
Interestingly, we find that employing FM with diffusion paths results in a more
robust and stable alternative for training diffusion models. Furthermore, Flow
Matching opens the door to training CNFs with other, non-diffusion probability
paths. An instance of particular interest is using Optimal Transport (OT)
displacement interpolation to define the conditional probability paths. These
paths are more efficient than diffusion paths, provide faster training and
sampling, and result in better generalization. Training CNFs using Flow
Matching on ImageNet leads to state-of-the-art performance in terms of both
likelihood and sample quality, and allows fast and reliable sample generation
using off-the-shelf numerical ODE solvers.
- Abstract(参考訳): 連続正規化フロー(CNF)上に構築された生成モデリングのための新しいパラダイムを導入し、前例のない規模でCNFを訓練する。
具体的には、固定条件付き確率パスの回帰ベクトル場に基づいてCNFを訓練するためのシミュレーション不要なアプローチであるフローマッチング(FM)の概念を提案する。
フローマッチングは、ノイズとデータサンプルの間の変換を行うガウス確率パスの一般的なファミリーと互換性がある。
興味深いことに、拡散経路を用いたFMは、より堅牢で安定した拡散モデルの代替となる。
さらに、フローマッチングは、他の非拡散確率パスとCNFを訓練する扉を開く。
特に興味深い例は、条件付き確率経路を定義するために最適輸送(OT)変位補間を用いることである。
これらの経路は拡散経路よりも効率的であり、より高速なトレーニングとサンプリングを提供し、より良い一般化をもたらす。
ImageNet上でのFlow Matchingを用いたCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらし、オフザシェルフ数値ODEソルバを用いた高速で信頼性の高いサンプル生成を可能にする。
関連論文リスト
- Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳(メタデータ) (2023-08-14T09:56:35Z) - Improving and generalizing flow-based generative models with minibatch
optimal transport [90.01613198337833]
連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。
CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。
我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
論文 参考訳(メタデータ) (2023-02-01T14:47:17Z) - Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。
我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。
PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
論文 参考訳(メタデータ) (2022-07-11T08:50:19Z) - Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。
MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。
本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
論文 参考訳(メタデータ) (2022-06-29T22:19:03Z) - Bootstrap Your Flow [4.374837991804085]
複雑なターゲット分布に対する正確な近似を生成するため,フローベーストレーニング手法であるFAB(Flow AIS Bootstrap)を開発した。
我々は,従来のフローベース手法が失敗する問題において,FABを用いてボルツマン分布を含む複雑な対象分布の正確な近似を導出できることを実証した。
論文 参考訳(メタデータ) (2021-11-22T20:11:47Z) - RBM-Flow and D-Flow: Invertible Flows with Discrete Energy Base Spaces [2.686876090354586]
訓練された逆流を用いて複雑なデータ分布の効率的なサンプリングを実現する(if)
連続スムージングを適用したRBM(Restricted Boltzmann Machine)をベースとするIFモデルであるRBM-Flowを実装します。
D-Flow はガウス基底変数を持つ典型的な IF と同様の確率と FID/IS スコアを得るが、グローバルな特徴が潜在空間における離散ラベルとして有意に符号化されているという利点がある。
論文 参考訳(メタデータ) (2020-12-24T11:05:27Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。