論文の概要: Sequential Flow Straightening for Generative Modeling

• arxiv url: http://arxiv.org/abs/2402.06461v2
• Date: Thu, 15 Feb 2024 00:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 18:42:47.484221
• Title: Sequential Flow Straightening for Generative Modeling
• Title（参考訳）: 生成モデルのための逐次流れのストレート化
• Authors: Jongmin Yoon, and Juho Lee
• Abstract要約: 本稿では,大域的トランケーション誤差を低減するために,確率フローを直線化する学習手法であるSeqRFを提案する。 CIFAR-10, CelebA-$64×64$, LSUN-Churchデータセットの超越結果を達成する。
• 参考スコア（独自算出の注目度）: 14.521246785215808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Straightening the probability flow of the continuous-time generative models, such as diffusion models or flow-based models, is the key to fast sampling through the numerical solvers, existing methods learn a linear path by directly generating the probability path the joint distribution between the noise and data distribution. One key reason for the slow sampling speed of the ODE-based solvers that simulate these generative models is the global truncation error of the ODE solver, caused by the high curvature of the ODE trajectory, which explodes the truncation error of the numerical solvers in the low-NFE regime. To address this challenge, We propose a novel method called SeqRF, a learning technique that straightens the probability flow to reduce the global truncation error and hence enable acceleration of sampling and improve the synthesis quality. In both theoretical and empirical studies, we first observe the straightening property of our SeqRF. Through empirical evaluations via SeqRF over flow-based generative models, We achieve surpassing results on CIFAR-10, CelebA-$64 \times 64$, and LSUN-Church datasets.
• Abstract（参考訳）: 拡散モデルやフローベースモデルといった連続時間生成モデルの確率フローの直線化は、数値解法を通した高速サンプリングの鍵であり、既存の手法ではノイズとデータ分布のジョイント分布の確率経路を直接生成して線形経路を学習する。 これらの生成モデルをシミュレートするODEベースのソルバのサンプリング速度が遅い理由の1つは、ODEトラジェクトリの高曲率に起因するODEソルバの大域的乱れ誤差であり、低NFE系における数値ソルバの乱れ誤差を爆発させる。 そこで本研究では,この課題に対処するために,確率フローをストレート化して大域的切断誤差を低減し,サンプリングの高速化と合成品質の向上を可能にする学習手法であるseqrfを提案する。 理論的および実証的研究の両方において、まずSeqRFのストレート化特性を観察する。 CIFAR-10, CelebA-$64 \times 64$, LSUN-Churchデータセットにおいて, フローベース生成モデルに対するSeqRFによる経験的評価により, 計算結果の超過を実現した。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。 RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Characteristic Learning for Provable One Step Generation [3.0457054308731215]
  本稿では,GAN(Generative Adversarial Networks)におけるサンプリング効率とフローベースモデルの安定した性能を組み合わせた一段階生成モデルを提案する。 我々のモデルは、確率密度輸送を通常の微分方程式(ODE)で記述できる特性によって駆動される。 2-ワッサーシュタイン距離における特性発生器の非漸近収束速度を確立するために,速度マッチング,オイラー離散化,特性適合の誤差を解析した。
  論文  参考訳（メタデータ） (2024-05-09T02:41:42Z)
• A prior regularized full waveform inversion using generative diffusion models [0.5156484100374059]
  フルウェーブフォームインバージョン(FWI)は高分解能地下モデル推定を提供する可能性がある。 観測の限界、例えば、地域雑音、限られたショットや受信機、帯域制限データなどにより、FWIで所望の高解像度モデルを得るのは難しい。 生成拡散モデルにより正規化されたFWIの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-06-22T10:10:34Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Minimizing Trajectory Curvature of ODE-based Generative Models [45.89620603363946]
  拡散モデル、整流モデル、流れマッチングなどの最近の生成モデルは、生成過程を固定前進過程の時間反転として定義する。 我々は, ODE/SDEシミュレーションを使わずに生成軌道の曲率を最小化するために, 前進過程を効率的に訓練する方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T21:52:03Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。