論文の概要: Bespoke Solvers for Generative Flow Models
- arxiv url: http://arxiv.org/abs/2310.19075v1
- Date: Sun, 29 Oct 2023 16:58:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 14:25:05.381997
- Title: Bespoke Solvers for Generative Flow Models
- Title(参考訳): 生成フローモデルのためのBespoke Solvers
- Authors: Neta Shaul, Juan Perez, Ricky T. Q. Chen, Ali Thabet, Albert Pumarola,
Yaron Lipman
- Abstract要約: コストのかかるサンプリングプロセスを緩和する既存の方法は、モデルの蒸留と専用のODEソルバの設計である。
Bespoke solvers"は、与えられた事前学習フローモデルのODEに合わせてカスタマイズされたカスタムODEソルバを構築するための新しいフレームワークである。
- 参考スコア(独自算出の注目度): 33.20695061095209
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion or flow-based models are powerful generative paradigms that are
notoriously hard to sample as samples are defined as solutions to
high-dimensional Ordinary or Stochastic Differential Equations (ODEs/SDEs)
which require a large Number of Function Evaluations (NFE) to approximate well.
Existing methods to alleviate the costly sampling process include model
distillation and designing dedicated ODE solvers. However, distillation is
costly to train and sometimes can deteriorate quality, while dedicated solvers
still require relatively large NFE to produce high quality samples. In this
paper we introduce "Bespoke solvers", a novel framework for constructing custom
ODE solvers tailored to the ODE of a given pre-trained flow model. Our approach
optimizes an order consistent and parameter-efficient solver (e.g., with 80
learnable parameters), is trained for roughly 1% of the GPU time required for
training the pre-trained model, and significantly improves approximation and
generation quality compared to dedicated solvers. For example, a Bespoke solver
for a CIFAR10 model produces samples with Fr\'echet Inception Distance (FID) of
2.73 with 10 NFE, and gets to 1% of the Ground Truth (GT) FID (2.59) for this
model with only 20 NFE. On the more challenging ImageNet-64$\times$64, Bespoke
samples at 2.2 FID with 10 NFE, and gets within 2% of GT FID (1.71) with 20
NFE.
- Abstract(参考訳): 拡散またはフローベースモデルは、サンプルが高次元の正規あるいは確率微分方程式(ODE/SDE)の解として定義され、多くの関数評価(NFE)を必要とするため、サンプリングが難しい強力な生成パラダイムである。
コストのかかるサンプリングプロセスを緩和する既存の方法は、モデルの蒸留と専用のODEソルバの設計である。
しかし、蒸留は訓練にコストがかかり、品質が低下することもあるが、専用のソルバーは高品質なサンプルを生成するのに比較的大きなnfeを必要とする。
本稿では,与えられた事前学習フローモデルのODEに適合したカスタムODEソルバを構築するための新しいフレームワークであるBespoke solversを紹介する。
学習可能なパラメータ80のオーダー一貫性とパラメータ効率のよいソルバを最適化し,事前学習したモデルのトレーニングに必要なgpu時間の約1%をトレーニングし,専用ソルバと比較して近似と生成品質を大幅に向上させる。
例えば、CIFAR10モデルのBespokeソルバは、Fr'echet Inception Distance (FID)のサンプルを10 NFEの2.73で生成し、20 NFEのモデルではGT FID (2.59)の1%を得る。
より困難なImageNet-64$\times$64では、Bespokeは10 NFEの2.2 FIDをサンプリングし、20 NFEのGT FID(1.71)の2%以内である。
関連論文リスト
- A Unified Sampling Framework for Solver Searching of Diffusion
Probabilistic Models [21.305868355976394]
本稿では,一元化サンプリングフレームワーク (USF) を提案する。
この枠組みでは,異なるタイミングで異なる解法をとることで,トラルニケートエラーの低減が図られる。
S3$は、最先端のサンプリング手法よりも優れた解法スケジュールを見つけることができることを実証する。
論文 参考訳(メタデータ) (2023-12-12T13:19:40Z) - Fast ODE-based Sampling for Diffusion Models in Around 5 Steps [17.500594480727617]
本稿では, 高速サンプリングのための平均方向を直接学習することにより, トランケーション誤差を解消する近似平均方向解法(AMED-r)を提案する。
本手法は,既存の ODE ベースのサンプルを改良するためのプラグインとして容易に利用できる。
論文 参考訳(メタデータ) (2023-11-30T13:07:19Z) - Improved Techniques for Training Consistency Models [13.475711217989975]
本稿では, 蒸留なしでデータから直接一貫性モデルを学習する, 整合性トレーニングのための改良手法を提案する。
整合性学習目的のための対数正規雑音スケジュールを提案し、トレーニングの繰り返し回数毎に全離散化ステップを2倍にすることを提案する。
これらの修正により、一貫性モデルは1回のサンプリングステップでCIFAR-10で2.51と3.25のFIDスコア、ImageNetで64ドルをそれぞれ達成できる。
論文 参考訳(メタデータ) (2023-10-22T05:33:38Z) - Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である
CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。
CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
論文 参考訳(メタデータ) (2023-10-01T05:07:17Z) - Distilling ODE Solvers of Diffusion Models into Smaller Steps [32.49916706943228]
本稿では, ODEソルバの定式化を基礎とした蒸留法であるDistilled-ODE solverを紹介する。
本手法は学習自由サンプリングと学習ベースサンプリングの両方の長所をシームレスに統合する。
従来の蒸留法と比較して計算オーバーヘッドは無視できる。
論文 参考訳(メタデータ) (2023-09-28T13:12:18Z) - Consistency Models [89.68380014789861]
ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。
設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。
イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
論文 参考訳(メタデータ) (2023-03-02T18:30:16Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳(メタデータ) (2022-10-06T18:03:56Z) - Denoising MCMC for Accelerating Diffusion-Based Generative Models [54.06799491319278]
拡散モデルは、スコア関数を用いて拡散過程の逆をシミュレートし、ノイズからデータを合成する強力な生成モデルである。
本稿では,スコアベースサンプリングを高速化するアプローチを提案する。
DMCMC のインスタンスである Denoising Langevin Gibbs (DLG) が6つの逆S/ODE 計算タスクの高速化に成功していることを示す。
論文 参考訳(メタデータ) (2022-09-29T07:16:10Z) - Megapixel Image Generation with Step-Unrolled Denoising Autoencoders [5.145313322824774]
本稿では,サンプルの解像度を高くする手法と,トレーニングとサンプリングの計算要求を低減させる手法の組み合わせを提案する。
例えば、ベクトル量子化GAN(VQ-GAN)、高レベルの損失 - しかし知覚的に重要 - 圧縮 - が可能なベクトル量子化(VQ)モデル、時間ガラストランスフォーマー、高スケールの自己アテンションモデル、非自己回帰(NAR)テキスト生成モデルであるステップ制御型デノイングオートエンコーダ(SUNDAE)などがある。
提案するフレームワークは,高解像度(1024×1024$)までスケールし,(高速で)トレーニングを行う。
論文 参考訳(メタデータ) (2022-06-24T15:47:42Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。