論文の概要: Stochastic Interpolants: A Unifying Framework for Flows and Diffusions
- arxiv url: http://arxiv.org/abs/2303.08797v1
- Date: Wed, 15 Mar 2023 17:43:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 17:58:32.196722
- Title: Stochastic Interpolants: A Unifying Framework for Flows and Diffusions
- Title（参考訳）: 確率補間体:流れと拡散の統一的枠組み
- Authors: Michael S. Albergo, Nicholas M. Boffi, Eric Vanden-Eijnden
- Abstract要約: Albergo & Vanden-Eijnden (2023) で提案された補間フレームワークに基づく生成モデルのクラスを導入する。
時間依存確率密度関数が2つの任意の密度を正確に有限時間で橋渡しする連続時間プロセスのクラスを構築する方法を示す。
これらのモデルでは、補間子を明示的に最適化すると、2つのターゲット密度の間のシュリンガー橋が復元されることを示した。
- 参考スコア（独自算出の注目度）: 9.98442364553678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a class of generative models based on the stochastic interpolant
framework proposed in Albergo & Vanden-Eijnden (2023) that unifies flow-based
and diffusion-based methods. We first show how to construct a broad class of
continuous-time stochastic processes whose time-dependent probability density
function bridges two arbitrary densities exactly in finite time. These
`stochastic interpolants' are built by combining data from the two densities
with an additional latent variable, and the specific details of the
construction can be leveraged to shape the resulting time-dependent density in
a flexible way. We then show that the time-dependent density of the stochastic
interpolant satisfies a first-order transport equation as well as a family of
forward and backward Fokker-Planck equations with tunable diffusion; upon
consideration of the time evolution of an individual sample, this viewpoint
immediately leads to both deterministic and stochastic generative models based
on probability flow equations or stochastic differential equations with a
tunable level of noise. The drift coefficients entering these models are
time-dependent velocity fields characterized as the unique minimizers of simple
quadratic objective functions, one of which is a new objective for the score of
the interpolant density. Remarkably, we show that minimization of these
quadratic objectives leads to control of the likelihood for generative models
built upon stochastic dynamics; by contrast, we show that generative models
based upon a deterministic dynamics must, in addition, control the Fisher
divergence between the target and the model. Finally, we construct estimators
for the likelihood and the cross-entropy of interpolant-based generative
models, and demonstrate that such models recover the Schr\"odinger bridge
between the two target densities when explicitly optimizing over the
interpolant.
- Abstract（参考訳）: 本稿では,Albergo & Vanden-Eijnden (2023) で提案されている確率補間フレームワークに基づく生成モデルのクラスを紹介する。
まず、時間依存確率密度関数が2つの任意の密度を正確に有限時間で橋渡しする幅広い時間確率過程を構築する方法を示す。
これらの「確率的補間」は、2つの密度から得られるデータと追加の潜伏変数を組み合わせることで構築され、構成の具体的な詳細を利用して結果の時間依存密度を柔軟に形成することができる。
次に、確率補間体の時間依存密度は、一階の輸送方程式と、波長の拡散を伴うフォッカー・プランク方程式の族を満足することを示し、個々のサンプルの時間発展を考えると、この視点は、確率フロー方程式や可変レベルのノイズを持つ確率微分方程式に基づく決定論的・確率的生成モデルの両方に直ちに結びつくことを示した。
これらのモデルに入るドリフト係数は、単純な二次目的関数のユニークな最小値として特徴づけられる時間依存速度場であり、補間密度のスコアの新しい目的である。
驚くべきことに、これらの二次目的の最小化は確率力学に基づく生成モデルの可能性の制御につながり、それとは対照的に決定論的ダイナミクスに基づく生成モデルは、さらに、目標とモデルの間のフィッシャーの発散を制御する必要がある。
最後に, 補間系生成モデルの確率と交叉エントロピーについて推定器を構築し, それらのモデルが補間体を明示的に最適化する場合, 2つの対象密度間のシュル=オディンガーブリッジを復元することを示す。
関連論文リスト
- Discrete Flow Matching [74.04153927689313]
本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。
我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
論文 参考訳（メタデータ） (2024-07-22T12:33:27Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Understanding Diffusion Models by Feynman's Path Integral [2.4373900721120285]
ファインマン積分経路を用いた拡散モデルの新しい定式化を導入する。
この定式化はスコアベース生成モデルの包括的記述を提供する。
また、後方微分方程式と損失関数の導出を示す。
論文 参考訳（メタデータ） (2024-03-17T16:24:29Z) - Logistic-beta processes for dependent random probabilities with beta marginals [58.91121576998588]
本稿では,ロジスティック・ベータプロセスと呼ばれる新しいプロセスを提案する。
空間や時間などの離散領域と連続領域の両方への依存をモデル化でき、相関カーネルを通じて柔軟な依存構造を持つ。
本研究は,非パラメトリック二分回帰と条件密度推定の例による効果をシミュレーション研究と妊娠結果応用の両方で説明する。
論文 参考訳（メタデータ） (2024-02-10T21:41:32Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Building Normalizing Flows with Stochastic Interpolants [11.22149158986164]
一対の基底分布と対象分布の間の連続時間正規化フローに基づく単純な2次モデルを提案する。
この流れの速度場は、基地と目標の間を有限時間で補間する時間依存分布の確率電流から推定される。
論文 参考訳（メタデータ） (2022-09-30T16:30:31Z) - Probability flow solution of the Fokker-Planck equation [10.484851004093919]
確率の流れを記述した常微分方程式の統合に基づく代替スキームを導入する。
力学とは異なり、この方程式は決定論的に初期密度からのサンプルを後から溶液のサンプルにプッシュする。
我々のアプローチは、生成モデルのためのスコアベース拡散の最近の進歩に基づいている。
論文 参考訳（メタデータ） (2022-06-09T17:37:09Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳（メタデータ） (2020-09-01T17:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。