論文の概要: Stream-level flow matching from a Bayesian decision theoretic perspective
- arxiv url: http://arxiv.org/abs/2409.20423v1
- Date: Mon, 30 Sep 2024 15:47:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-02 06:50:32.305949
- Title: Stream-level flow matching from a Bayesian decision theoretic perspective
- Title（参考訳）: ベイズ決定論の観点からのストリームレベルの流れマッチング
- Authors: Ganchao Wei, Li Ma,
- Abstract要約: フローマッチング(英: Flow matching, FM)は、連続正規化フロー(CNF)を適合させる訓練アルゴリズムの一群である。
我々は,パラメータ推定におけるベイズ決定論的な視点からCFMトレーニングを観ることによって,CFMアルゴリズムの一般化への扉を開くことを示す。
- 参考スコア（独自算出の注目度）: 4.935875591615496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flow matching (FM) is a family of training algorithms for fitting continuous normalizing flows (CNFs). A standard approach to FM, called conditional flow matching (CFM), exploits the fact that the marginal vector field of a CNF can be learned by fitting least-square regression to the so-called conditional vector field specified given one or both ends of the flow path. We show that viewing CFM training from a Bayesian decision theoretic perspective on parameter estimation opens the door to generalizations of CFM algorithms. We propose one such extension by introducing a CFM algorithm based on defining conditional probability paths given what we refer to as ``streams'', instances of latent stochastic paths that connect pairs of noise and observed data. Further, we advocates the modeling of these latent streams using Gaussian processes (GPs). The unique distributional properties of GPs, and in particular the fact that the velocities of a GP is still a GP, allows drawing samples from the resulting stream-augmented conditional probability path without simulating the actual streams, and hence the ``simulation-free" nature of CFM training is preserved. We show that this generalization of the CFM can substantially reduce the variance in the estimated marginal vector field at a moderate computational cost, thereby improving the quality of the generated samples under common metrics. Additionally, we show that adopting the GP on the streams allows for flexibly linking multiple related training data points (e.g., time series) and incorporating additional prior information. We empirically validate our claim through both simulations and applications to two hand-written image datasets.
- Abstract（参考訳）: フローマッチング(英: Flow matching、FM)は、連続正規化フロー(CNF)を適合させる訓練アルゴリズムの一群である。
FMに対する標準的なアプローチである条件付きフローマッチング(CFM)は、CNFの辺ベクトル場がフローパスの一方または両側に指定されたいわゆる条件付きベクトル場に最小二乗回帰を加えることによって学習できるという事実を利用する。
我々は,パラメータ推定におけるベイズ決定論的な視点からCFMトレーニングを観ることによって,CFMアルゴリズムの一般化への扉を開くことを示す。
雑音と観測データのペアを接続する潜在確率経路の例である「ストリーム」と呼ばれる条件付き確率経路を定義することに基づくCFMアルゴリズムを導入することにより、そのような拡張を提案する。
さらに、ガウス過程(GP)を用いたこれらの潜在ストリームのモデリングを提唱する。
GPの独特な分布特性、特にGPの速度がまだGPであるという事実は、実際のストリームをシミュレートすることなく、ストリーム拡張された条件付き確率経路からサンプルを描画することができるので、CFMトレーニングの「シミュレーション不要」な性質は保存される。
本研究では, CFMの一般化により, 推定限界ベクトル場の分散を適度な計算コストで大幅に低減できることを示す。
さらに、ストリームにGPを採用することで、複数の関連するトレーニングデータポイント(例えば、時系列)を柔軟にリンクし、追加の事前情報を組み込むことができることを示す。
我々は、シミュレーションと2つの手書き画像データセットへの応用を通して、我々の主張を実証的に検証する。
関連論文リスト
- Flow matching achieves minimax optimal convergence [50.38891696297888]
フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。
本稿では、分布差の尺度である$p$-ワッサーシュタイン距離の観点から、FMの収束特性について論じる。
FM が 1 leq p leq 2$ で minmax の最適収束率を達成することを証明し、FM が拡散モデルに匹敵する収束率に到達できるという最初の理論的証拠を提示する。
論文 参考訳（メタデータ） (2024-05-31T14:54:51Z) - Reflected Flow Matching [36.38883647601013]
連続正規化フロー(CNF)は通常の微分方程式を学習し、先行サンプルをデータに変換する。
流れマッチング (FM) は, 条件付速度場に向けて速度モデルを回帰させることによりCNFを訓練するシミュレーションのない手法として登場した。
シミュレーション不要な条件付き速度場をマッチングすることにより, 反射型CNFの速度モデルをトレーニングするための反射流マッチング(RFM)を提案する。
論文 参考訳（メタデータ） (2024-05-26T14:09:43Z) - Markovian Flow Matching: Accelerating MCMC with Continuous Normalizing Flows [2.2530496464901106]
連続正規化フロー(CNF)は、ニューラルネットワークを用いて前記経路を生成するベクトル場をモデル化することにより、基準と目標密度の間の確率経路を学習する。
近年,Lipman et al. (2022) は生成モデルにおけるCNFsの簡易かつ安価な学習法であるフローマッチング (FM) を導入した。
我々は,この手法をマルコフサンプリング法をFM目標評価に応用し,学習した確率経路を用いてモンテカルロサンプリングを改善することにより,確率的推論に再利用する。
論文 参考訳（メタデータ） (2024-05-23T10:08:19Z) - Improving and generalizing flow-based generative models with minibatch
optimal transport [90.01613198337833]
連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。
CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。
我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
論文 参考訳（メタデータ） (2023-02-01T14:47:17Z) - Flow Matching for Generative Modeling [44.66897082688762]
フローマッチングは、連続正規化フロー(CNF)のトレーニングのためのシミュレーション不要なアプローチである
拡散経路を持つFMを用いることで、より堅牢で安定した拡散モデルの代替となることが判明した。
ImageNet上でFlow Matchingを使用したCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2022-10-06T08:32:20Z) - Continuous and Distribution-free Probabilistic Wind Power Forecasting: A
Conditional Normalizing Flow Approach [1.684864188596015]
条件正規化フロー(CNF)に基づく確率的風力予測のためのデータ駆動型手法を提案する。
既存の手法とは対照的に、このアプローチは(非パラメトリックおよび量子的アプローチのように)分布自由であり、連続確率密度を直接生成することができる。
論文 参考訳（メタデータ） (2022-06-06T08:48:58Z) - Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。
近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。
DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
論文 参考訳（メタデータ） (2022-02-28T15:53:10Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。
我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
論文 参考訳（メタデータ） (2019-12-30T17:36:33Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。