論文の概要: Stochastic Interpolants: A Unifying Framework for Flows and Diffusions
- arxiv url: http://arxiv.org/abs/2303.08797v1
- Date: Wed, 15 Mar 2023 17:43:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 17:58:32.196722
- Title: Stochastic Interpolants: A Unifying Framework for Flows and Diffusions
- Title（参考訳）: 確率補間体:流れと拡散の統一的枠組み
- Authors: Michael S. Albergo, Nicholas M. Boffi, Eric Vanden-Eijnden
- Abstract要約: Albergo & Vanden-Eijnden (2023) で提案された補間フレームワークに基づく生成モデルのクラスを導入する。
時間依存確率密度関数が2つの任意の密度を正確に有限時間で橋渡しする連続時間プロセスのクラスを構築する方法を示す。
これらのモデルでは、補間子を明示的に最適化すると、2つのターゲット密度の間のシュリンガー橋が復元されることを示した。
- 参考スコア（独自算出の注目度）: 9.98442364553678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a class of generative models based on the stochastic interpolant
framework proposed in Albergo & Vanden-Eijnden (2023) that unifies flow-based
and diffusion-based methods. We first show how to construct a broad class of
continuous-time stochastic processes whose time-dependent probability density
function bridges two arbitrary densities exactly in finite time. These
`stochastic interpolants' are built by combining data from the two densities
with an additional latent variable, and the specific details of the
construction can be leveraged to shape the resulting time-dependent density in
a flexible way. We then show that the time-dependent density of the stochastic
interpolant satisfies a first-order transport equation as well as a family of
forward and backward Fokker-Planck equations with tunable diffusion; upon
consideration of the time evolution of an individual sample, this viewpoint
immediately leads to both deterministic and stochastic generative models based
on probability flow equations or stochastic differential equations with a
tunable level of noise. The drift coefficients entering these models are
time-dependent velocity fields characterized as the unique minimizers of simple
quadratic objective functions, one of which is a new objective for the score of
the interpolant density. Remarkably, we show that minimization of these
quadratic objectives leads to control of the likelihood for generative models
built upon stochastic dynamics; by contrast, we show that generative models
based upon a deterministic dynamics must, in addition, control the Fisher
divergence between the target and the model. Finally, we construct estimators
for the likelihood and the cross-entropy of interpolant-based generative
models, and demonstrate that such models recover the Schr\"odinger bridge
between the two target densities when explicitly optimizing over the
interpolant.
- Abstract（参考訳）: 本稿では,Albergo & Vanden-Eijnden (2023) で提案されている確率補間フレームワークに基づく生成モデルのクラスを紹介する。
まず、時間依存確率密度関数が2つの任意の密度を正確に有限時間で橋渡しする幅広い時間確率過程を構築する方法を示す。
これらの「確率的補間」は、2つの密度から得られるデータと追加の潜伏変数を組み合わせることで構築され、構成の具体的な詳細を利用して結果の時間依存密度を柔軟に形成することができる。
次に、確率補間体の時間依存密度は、一階の輸送方程式と、波長の拡散を伴うフォッカー・プランク方程式の族を満足することを示し、個々のサンプルの時間発展を考えると、この視点は、確率フロー方程式や可変レベルのノイズを持つ確率微分方程式に基づく決定論的・確率的生成モデルの両方に直ちに結びつくことを示した。
これらのモデルに入るドリフト係数は、単純な二次目的関数のユニークな最小値として特徴づけられる時間依存速度場であり、補間密度のスコアの新しい目的である。
驚くべきことに、これらの二次目的の最小化は確率力学に基づく生成モデルの可能性の制御につながり、それとは対照的に決定論的ダイナミクスに基づく生成モデルは、さらに、目標とモデルの間のフィッシャーの発散を制御する必要がある。
最後に, 補間系生成モデルの確率と交叉エントロピーについて推定器を構築し, それらのモデルが補間体を明示的に最適化する場合, 2つの対象密度間のシュル=オディンガーブリッジを復元することを示す。
関連論文リスト
- Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Building Normalizing Flows with Stochastic Interpolants [11.22149158986164]
一対の基底分布と対象分布の間の連続時間正規化フローに基づく単純な2次モデルを提案する。
この流れの速度場は、基地と目標の間を有限時間で補間する時間依存分布の確率電流から推定される。
論文 参考訳（メタデータ） (2022-09-30T16:30:31Z) - Wasserstein multivariate auto-regressive models for modeling
distributional time series and its application in graph learning [0.0]
多変量分布時系列の統計解析のための新しい自己回帰モデルを提案する。
このようなモデルの解の存在、特異性、定常性に関する結果が提供される。
シミュレーションデータの解析に加えて, 各国の年齢分布から得られた2つの実データを用いて, シミュレーションモデルを構築した。
論文 参考訳（メタデータ） (2022-07-12T10:18:36Z) - Probability flow solution of the Fokker-Planck equation [10.484851004093919]
確率の流れを記述した常微分方程式の統合に基づく代替スキームを導入する。
力学とは異なり、この方程式は決定論的に初期密度からのサンプルを後から溶液のサンプルにプッシュする。
我々のアプローチは、生成モデルのためのスコアベース拡散の最近の進歩に基づいている。
論文 参考訳（メタデータ） (2022-06-09T17:37:09Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳（メタデータ） (2020-11-26T19:39:10Z) - Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。
本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。
実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
論文 参考訳（メタデータ） (2020-09-21T13:57:10Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳（メタデータ） (2020-09-01T17:20:08Z) - Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows [40.9137348900942]
ウィナー過程の微分変形によって駆動される新しいタイプの流れを提案する。
その結果,観測可能なプロセスが基本プロセスの魅力的な特性の多くを継承するリッチ時系列モデルが得られた。
論文 参考訳（メタデータ） (2020-02-24T20:13:43Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳（メタデータ） (2020-02-17T20:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。