論文の概要: Stochastic Interpolants: A Unifying Framework for Flows and Diffusions
- arxiv url: http://arxiv.org/abs/2303.08797v3
- Date: Mon, 6 Nov 2023 14:34:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 23:17:47.333509
- Title: Stochastic Interpolants: A Unifying Framework for Flows and Diffusions
- Title（参考訳）: 確率補間体:流れと拡散の統一的枠組み
- Authors: Michael S. Albergo, Nicholas M. Boffi, Eric Vanden-Eijnden
- Abstract要約: フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。
これらのモデルは、Albergo & VandenEijnden (2023) で提案されたフレームワークを拡張し、確率補間子と呼ばれる広範囲の連続時間プロセスの使用を可能にする。
これらの補間材は、2つの所定の密度のデータと、橋を柔軟に形作る追加の潜伏変数を組み合わせることで構築される。
- 参考スコア（独自算出の注目度）: 16.95541777254722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A class of generative models that unifies flow-based and diffusion-based
methods is introduced. These models extend the framework proposed in Albergo &
Vanden-Eijnden (2023), enabling the use of a broad class of continuous-time
stochastic processes called `stochastic interpolants' to bridge any two
arbitrary probability density functions exactly in finite time. These
interpolants are built by combining data from the two prescribed densities with
an additional latent variable that shapes the bridge in a flexible way. The
time-dependent probability density function of the stochastic interpolant is
shown to satisfy a first-order transport equation as well as a family of
forward and backward Fokker-Planck equations with tunable diffusion
coefficient. Upon consideration of the time evolution of an individual sample,
this viewpoint immediately leads to both deterministic and stochastic
generative models based on probability flow equations or stochastic
differential equations with an adjustable level of noise. The drift
coefficients entering these models are time-dependent velocity fields
characterized as the unique minimizers of simple quadratic objective functions,
one of which is a new objective for the score of the interpolant density. We
show that minimization of these quadratic objectives leads to control of the
likelihood for generative models built upon stochastic dynamics, while
likelihood control for deterministic dynamics is more stringent. We also
discuss connections with other methods such as score-based diffusion models,
stochastic localization processes, probabilistic denoising techniques, and
rectifying flows. In addition, we demonstrate that stochastic interpolants
recover the Schr\"odinger bridge between the two target densities when
explicitly optimizing over the interpolant. Finally, algorithmic aspects are
discussed and the approach is illustrated on numerical examples.
- Abstract（参考訳）: フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。
これらのモデルは、Albergo & Vanden-Eijnden (2023) で提案されたフレームワークを拡張し、任意の確率密度関数を正確に有限時間でブリッジするために 'stochastic interpolants' と呼ばれる幅広い時間確率過程のクラスを使用できる。
これらの補間体は、2つの所定の密度のデータと、橋を柔軟に形作る追加の潜在変数を組み合わせることで構築される。
確率補間器の時間依存性確率密度関数は、可変拡散係数を持つフォッカー・プランク方程式の族と同様に、一階輸送方程式を満たすことが示されている。
個々のサンプルの時間的進化を考慮すると、この視点はすぐに、確率フロー方程式に基づく決定論的および確率的生成モデルと、調整可能なノイズレベルを持つ確率微分方程式の両方をもたらす。
これらのモデルに入るドリフト係数は、単純な二次目的関数のユニークな最小値として特徴づけられる時間依存速度場であり、補間密度のスコアの新しい目的である。
これらの二次目的の最小化は、確率力学に基づく生成モデルの可能性を制御するが、決定論的ダイナミクスの確率制御はより厳密であることを示す。
また,スコアベース拡散モデル,確率的局所化過程,確率的解法,整流流といった他の手法との関係についても検討した。
さらに, 確率的補間体は, 補間体を明示的に最適化する場合に, 2つの対象密度間のシュル=オディンガー橋を回収することを示した。
最後にアルゴリズム的な側面を議論し,そのアプローチを数値例で示す。
関連論文リスト
- Discrete Flow Matching [74.04153927689313]
本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。
我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
論文 参考訳（メタデータ） (2024-07-22T12:33:27Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Understanding Diffusion Models by Feynman's Path Integral [2.4373900721120285]
ファインマン積分経路を用いた拡散モデルの新しい定式化を導入する。
この定式化はスコアベース生成モデルの包括的記述を提供する。
また、後方微分方程式と損失関数の導出を示す。
論文 参考訳（メタデータ） (2024-03-17T16:24:29Z) - Logistic-beta processes for dependent random probabilities with beta marginals [58.91121576998588]
本稿では,ロジスティック・ベータプロセスと呼ばれる新しいプロセスを提案する。
空間や時間などの離散領域と連続領域の両方への依存をモデル化でき、相関カーネルを通じて柔軟な依存構造を持つ。
本研究は,非パラメトリック二分回帰と条件密度推定の例による効果をシミュレーション研究と妊娠結果応用の両方で説明する。
論文 参考訳（メタデータ） (2024-02-10T21:41:32Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Building Normalizing Flows with Stochastic Interpolants [11.22149158986164]
一対の基底分布と対象分布の間の連続時間正規化フローに基づく単純な2次モデルを提案する。
この流れの速度場は、基地と目標の間を有限時間で補間する時間依存分布の確率電流から推定される。
論文 参考訳（メタデータ） (2022-09-30T16:30:31Z) - Probability flow solution of the Fokker-Planck equation [10.484851004093919]
確率の流れを記述した常微分方程式の統合に基づく代替スキームを導入する。
力学とは異なり、この方程式は決定論的に初期密度からのサンプルを後から溶液のサンプルにプッシュする。
我々のアプローチは、生成モデルのためのスコアベース拡散の最近の進歩に基づいている。
論文 参考訳（メタデータ） (2022-06-09T17:37:09Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳（メタデータ） (2020-09-01T17:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。