論文の概要: Sequential Flow Straightening for Generative Modeling
- arxiv url: http://arxiv.org/abs/2402.06461v2
- Date: Thu, 15 Feb 2024 00:44:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 18:42:47.484221
- Title: Sequential Flow Straightening for Generative Modeling
- Title(参考訳): 生成モデルのための逐次流れのストレート化
- Authors: Jongmin Yoon, and Juho Lee
- Abstract要約: 本稿では,大域的トランケーション誤差を低減するために,確率フローを直線化する学習手法であるSeqRFを提案する。
CIFAR-10, CelebA-$64×64$, LSUN-Churchデータセットの超越結果を達成する。
- 参考スコア(独自算出の注目度): 14.521246785215808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Straightening the probability flow of the continuous-time generative models,
such as diffusion models or flow-based models, is the key to fast sampling
through the numerical solvers, existing methods learn a linear path by directly
generating the probability path the joint distribution between the noise and
data distribution. One key reason for the slow sampling speed of the ODE-based
solvers that simulate these generative models is the global truncation error of
the ODE solver, caused by the high curvature of the ODE trajectory, which
explodes the truncation error of the numerical solvers in the low-NFE regime.
To address this challenge, We propose a novel method called SeqRF, a learning
technique that straightens the probability flow to reduce the global truncation
error and hence enable acceleration of sampling and improve the synthesis
quality. In both theoretical and empirical studies, we first observe the
straightening property of our SeqRF. Through empirical evaluations via SeqRF
over flow-based generative models, We achieve surpassing results on CIFAR-10,
CelebA-$64 \times 64$, and LSUN-Church datasets.
- Abstract(参考訳): 拡散モデルやフローベースモデルといった連続時間生成モデルの確率フローの直線化は、数値解法を通した高速サンプリングの鍵であり、既存の手法ではノイズとデータ分布のジョイント分布の確率経路を直接生成して線形経路を学習する。
これらの生成モデルをシミュレートするODEベースのソルバのサンプリング速度が遅い理由の1つは、ODEトラジェクトリの高曲率に起因するODEソルバの大域的乱れ誤差であり、低NFE系における数値ソルバの乱れ誤差を爆発させる。
そこで本研究では,この課題に対処するために,確率フローをストレート化して大域的切断誤差を低減し,サンプリングの高速化と合成品質の向上を可能にする学習手法であるseqrfを提案する。
理論的および実証的研究の両方において、まずSeqRFのストレート化特性を観察する。
CIFAR-10, CelebA-$64 \times 64$, LSUN-Churchデータセットにおいて, フローベース生成モデルに対するSeqRFによる経験的評価により, 計算結果の超過を実現した。
関連論文リスト
- SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-23T16:21:29Z) - Consistency Trajectory Models: Learning Probability Flow ODE Trajectory
of Diffusion [58.50423084652587]
Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である
CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。
CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
論文 参考訳(メタデータ) (2023-10-01T05:07:17Z) - Data-driven Modeling and Inference for Bayesian Gaussian Process ODEs
via Double Normalizing Flows [28.62579476863723]
本稿では,ODEベクトル場を再パラメータ化するために正規化フローを導入し,データ駆動の事前分布を導出する。
また, GP ODE の後部推定に正規化フローを適用し, 強平均場仮定の問題を解く。
シミュレーション力学系と実世界の人間の動作データに対するアプローチの有効性を検証した。
論文 参考訳(メタデータ) (2023-09-17T09:28:47Z) - A prior regularized full waveform inversion using generative diffusion
models [0.5156484100374059]
フルウェーブフォームインバージョン(FWI)は高分解能地下モデル推定を提供する可能性がある。
観測の限界、例えば、地域雑音、限られたショットや受信機、帯域制限データなどにより、FWIで所望の高解像度モデルを得るのは難しい。
生成拡散モデルにより正規化されたFWIの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-06-22T10:10:34Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Minimizing Trajectory Curvature of ODE-based Generative Models [45.89620603363946]
拡散モデル、整流モデル、流れマッチングなどの最近の生成モデルは、生成過程を固定前進過程の時間反転として定義する。
我々は, ODE/SDEシミュレーションを使わずに生成軌道の曲率を最小化するために, 前進過程を効率的に訓練する方法を提案する。
論文 参考訳(メタデータ) (2023-01-27T21:52:03Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。