論文の概要: Flow Matching for Generative Modeling

• arxiv url: http://arxiv.org/abs/2210.02747v1
• Date: Thu, 6 Oct 2022 08:32:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:05:49.456841
• Title: Flow Matching for Generative Modeling
• Title（参考訳）: ジェネレーティブモデリングのためのフローマッチング
• Authors: Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, Matt Le
• Abstract要約: フローマッチングは、連続正規化フロー(CNF)のトレーニングのためのシミュレーション不要なアプローチである 拡散経路を持つFMを用いることで、より堅牢で安定した拡散モデルの代替となることが判明した。 ImageNet上でFlow Matchingを使用したCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらす。
• 参考スコア（独自算出の注目度）: 44.66897082688762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new paradigm for generative modeling built on Continuous Normalizing Flows (CNFs), allowing us to train CNFs at unprecedented scale. Specifically, we present the notion of Flow Matching (FM), a simulation-free approach for training CNFs based on regressing vector fields of fixed conditional probability paths. Flow Matching is compatible with a general family of Gaussian probability paths for transforming between noise and data samples -- which subsumes existing diffusion paths as specific instances. Interestingly, we find that employing FM with diffusion paths results in a more robust and stable alternative for training diffusion models. Furthermore, Flow Matching opens the door to training CNFs with other, non-diffusion probability paths. An instance of particular interest is using Optimal Transport (OT) displacement interpolation to define the conditional probability paths. These paths are more efficient than diffusion paths, provide faster training and sampling, and result in better generalization. Training CNFs using Flow Matching on ImageNet leads to state-of-the-art performance in terms of both likelihood and sample quality, and allows fast and reliable sample generation using off-the-shelf numerical ODE solvers.
• Abstract（参考訳）: 連続正規化フロー(CNF)上に構築された生成モデリングのための新しいパラダイムを導入し、前例のない規模でCNFを訓練する。 具体的には、固定条件付き確率パスの回帰ベクトル場に基づいてCNFを訓練するためのシミュレーション不要なアプローチであるフローマッチング(FM)の概念を提案する。 フローマッチングは、ノイズとデータサンプルの間の変換を行うガウス確率パスの一般的なファミリーと互換性がある。 興味深いことに、拡散経路を用いたFMは、より堅牢で安定した拡散モデルの代替となる。 さらに、フローマッチングは、他の非拡散確率パスとCNFを訓練する扉を開く。 特に興味深い例は、条件付き確率経路を定義するために最適輸送(OT)変位補間を用いることである。 これらの経路は拡散経路よりも効率的であり、より高速なトレーニングとサンプリングを提供し、より良い一般化をもたらす。 ImageNet上でのFlow Matchingを用いたCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらし、オフザシェルフ数値ODEソルバを用いた高速で信頼性の高いサンプル生成を可能にする。

関連論文リスト

• Local Flow Matching Generative Models [19.859984725284896]
  フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。 FMサブモデルのシーケンスを学習し,それぞれがデータ-雑音方向のステップサイズまで拡散過程と一致するローカルフローマッチング(LFM)を導入する。 実験では, FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証した。
  論文  参考訳（メタデータ） (2024-10-03T14:53:10Z)
• Stream-level flow matching from a Bayesian decision theoretic perspective [4.935875591615496]
  フローマッチング(英: Flow matching, FM)は、連続正規化フロー(CNF)を適合させる訓練アルゴリズムの一群である。 我々は,パラメータ推定におけるベイズ決定論的な視点からCFMトレーニングを観ることによって,CFMアルゴリズムの一般化への扉を開くことを示す。
  論文  参考訳（メタデータ） (2024-09-30T15:47:22Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• Markovian Flow Matching: Accelerating MCMC with Continuous Normalizing Flows [2.2530496464901106]
  連続正規化フロー(CNF)は、ニューラルネットワークを用いて前記経路を生成するベクトル場をモデル化することにより、基準分布と目標分布の間の確率経路を学習する。 近年,Lipman et al. (2022) は生成モデルにおけるCNFsの簡易かつ安価な学習法であるフローマッチング (FM) を導入した。 本稿では,この手法をマルコフサンプリング法をFM目標評価に応用し,学習したCNFを用いてモンテカルロサンプリングを改善することにより,確率的推論に再利用する。
  論文  参考訳（メタデータ） (2024-05-23T10:08:19Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
  連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。 我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。 PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-11T08:50:19Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。