論文の概要: Minimizing Trajectory Curvature of ODE-based Generative Models

• arxiv url: http://arxiv.org/abs/2301.12003v3
• Date: Thu, 25 May 2023 11:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 22:59:50.787709
• Title: Minimizing Trajectory Curvature of ODE-based Generative Models
• Title（参考訳）: ODEに基づく生成モデルの軌道曲率最小化
• Authors: Sangyun Lee, Beomsu Kim, Jong Chul Ye
• Abstract要約: 拡散モデル、整流モデル、流れマッチングなどの最近の生成モデルは、生成過程を固定前進過程の時間反転として定義する。 我々は, ODE/SDEシミュレーションを使わずに生成軌道の曲率を最小化するために, 前進過程を効率的に訓練する方法を提案する。
• 参考スコア（独自算出の注目度）: 45.89620603363946
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent ODE/SDE-based generative models, such as diffusion models, rectified flows, and flow matching, define a generative process as a time reversal of a fixed forward process. Even though these models show impressive performance on large-scale datasets, numerical simulation requires multiple evaluations of a neural network, leading to a slow sampling speed. We attribute the reason to the high curvature of the learned generative trajectories, as it is directly related to the truncation error of a numerical solver. Based on the relationship between the forward process and the curvature, here we present an efficient method of training the forward process to minimize the curvature of generative trajectories without any ODE/SDE simulation. Experiments show that our method achieves a lower curvature than previous models and, therefore, decreased sampling costs while maintaining competitive performance. Code is available at https://github.com/sangyun884/fast-ode.
• Abstract（参考訳）: 最近のODE/SDEベースの生成モデル、例えば拡散モデル、整流流、フローマッチングは、生成過程を固定前進過程の時間反転として定義する。 これらのモデルは大規模なデータセットで顕著な性能を示すが、数値シミュレーションにはニューラルネットワークの評価が複数必要であり、サンプリング速度が遅くなる。 その理由は, 数値解法器の停止誤差と直接関係しているため, 学習した生成軌跡の曲率が高いことに帰着する。 本稿では,前処理と曲率の関係に基づき,ODE/SDEシミュレーションを使わずに生成軌道の曲率を最小化するために,前処理を効率的に訓練する方法を提案する。 実験の結果,本手法は従来のモデルよりも低い曲率を達成し,競争性能を維持しつつサンプリングコストを低減できることがわかった。 コードはhttps://github.com/sangyun884/fast-odeで入手できる。

関連論文リスト

• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Sequential Flow Straightening for Generative Modeling [14.521246785215808]
  本稿では,大域的トランケーション誤差を低減するために,確率フローを直線化する学習手法であるSeqRFを提案する。 CIFAR-10, CelebA-$64×64$, LSUN-Churchデータセットの超越結果を達成する。
  論文  参考訳（メタデータ） (2024-02-09T15:09:38Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Non-intrusive Nonlinear Model Reduction via Machine Learning Approximations to Low-dimensional Operators [0.0]
  本稿では,従来の非侵入的手法を用いて,従来型の侵入的縮小順序モデルを正確に近似する手法を提案する。 この手法は、現代の機械学習回帰手法を用いて、プロジェクションベースのリダクションオーダーモデル(ROM)に関連する低次元演算子を近似する。 非侵襲性を実現することに加えて、このアプローチが計算の複雑さを極端に低くし、最大1000ドル程度の実行時間削減を実現することを実証する。
  論文  参考訳（メタデータ） (2021-06-17T17:04:42Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。