論文の概要: Bespoke Solvers for Generative Flow Models

• arxiv url: http://arxiv.org/abs/2310.19075v1
• Date: Sun, 29 Oct 2023 16:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 14:25:05.381997
• Title: Bespoke Solvers for Generative Flow Models
• Title（参考訳）: 生成フローモデルのためのBespoke Solvers
• Authors: Neta Shaul, Juan Perez, Ricky T. Q. Chen, Ali Thabet, Albert Pumarola, Yaron Lipman
• Abstract要約: コストのかかるサンプリングプロセスを緩和する既存の方法は、モデルの蒸留と専用のODEソルバの設計である。 Bespoke solvers"は、与えられた事前学習フローモデルのODEに合わせてカスタマイズされたカスタムODEソルバを構築するための新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 33.20695061095209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion or flow-based models are powerful generative paradigms that are notoriously hard to sample as samples are defined as solutions to high-dimensional Ordinary or Stochastic Differential Equations (ODEs/SDEs) which require a large Number of Function Evaluations (NFE) to approximate well. Existing methods to alleviate the costly sampling process include model distillation and designing dedicated ODE solvers. However, distillation is costly to train and sometimes can deteriorate quality, while dedicated solvers still require relatively large NFE to produce high quality samples. In this paper we introduce "Bespoke solvers", a novel framework for constructing custom ODE solvers tailored to the ODE of a given pre-trained flow model. Our approach optimizes an order consistent and parameter-efficient solver (e.g., with 80 learnable parameters), is trained for roughly 1% of the GPU time required for training the pre-trained model, and significantly improves approximation and generation quality compared to dedicated solvers. For example, a Bespoke solver for a CIFAR10 model produces samples with Fr\'echet Inception Distance (FID) of 2.73 with 10 NFE, and gets to 1% of the Ground Truth (GT) FID (2.59) for this model with only 20 NFE. On the more challenging ImageNet-64$\times$64, Bespoke samples at 2.2 FID with 10 NFE, and gets within 2% of GT FID (1.71) with 20 NFE.
• Abstract（参考訳）: 拡散またはフローベースモデルは、サンプルが高次元の正規あるいは確率微分方程式(ODE/SDE)の解として定義され、多くの関数評価(NFE)を必要とするため、サンプリングが難しい強力な生成パラダイムである。 コストのかかるサンプリングプロセスを緩和する既存の方法は、モデルの蒸留と専用のODEソルバの設計である。 しかし、蒸留は訓練にコストがかかり、品質が低下することもあるが、専用のソルバーは高品質なサンプルを生成するのに比較的大きなnfeを必要とする。 本稿では,与えられた事前学習フローモデルのODEに適合したカスタムODEソルバを構築するための新しいフレームワークであるBespoke solversを紹介する。 学習可能なパラメータ80のオーダー一貫性とパラメータ効率のよいソルバを最適化し,事前学習したモデルのトレーニングに必要なgpu時間の約1%をトレーニングし,専用ソルバと比較して近似と生成品質を大幅に向上させる。 例えば、CIFAR10モデルのBespokeソルバは、Fr'echet Inception Distance (FID)のサンプルを10 NFEの2.73で生成し、20 NFEのモデルではGT FID (2.59)の1%を得る。 より困難なImageNet-64$\times$64では、Bespokeは10 NFEの2.2 FIDをサンプリングし、20 NFEのGT FID(1.71)の2%以内である。

関連論文リスト

• One-Step Diffusion Distillation through Score Implicit Matching [74.91234358410281]
  本稿では,Score Implicit Matching (SIM) を用いて,事前学習した拡散モデルを単一ステップジェネレータモデルに蒸留する手法を提案する。 SIMはワンステップジェネレータに対して強い経験的性能を示す。 リードトランスに基づく拡散モデルにSIMを適用することにより,テキスト・ツー・イメージ生成のための単一ステップ生成器を蒸留する。
  論文  参考訳（メタデータ） (2024-10-22T08:17:20Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Simple and Fast Distillation of Diffusion Models [39.79747569096888]
  本稿では,拡散モデルの簡易・高速蒸留(SFD)を提案する。 SFD は CIFAR-10 上で 4.53 FID (NFE=2) を達成する。
  論文  参考訳（メタデータ） (2024-09-29T12:13:06Z)
• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• A Unified Sampling Framework for Solver Searching of Diffusion Probabilistic Models [21.305868355976394]
  本稿では,一元化サンプリングフレームワーク (USF) を提案する。 この枠組みでは,異なるタイミングで異なる解法をとることで,トラルニケートエラーの低減が図られる。 S3$は、最先端のサンプリング手法よりも優れた解法スケジュールを見つけることができることを実証する。
  論文  参考訳（メタデータ） (2023-12-12T13:19:40Z)
• Improved Techniques for Training Consistency Models [13.475711217989975]
  本稿では, 蒸留なしでデータから直接一貫性モデルを学習する, 整合性トレーニングのための改良手法を提案する。 整合性学習目的のための対数正規雑音スケジュールを提案し、トレーニングの繰り返し回数毎に全離散化ステップを2倍にすることを提案する。 これらの修正により、一貫性モデルは1回のサンプリングステップでCIFAR-10で2.51と3.25のFIDスコア、ImageNetで64ドルをそれぞれ達成できる。
  論文  参考訳（メタデータ） (2023-10-22T05:33:38Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Distilling ODE Solvers of Diffusion Models into Smaller Steps [32.49916706943228]
  本稿では, ODEソルバの定式化を基礎とした蒸留法であるDistilled-ODE solverを紹介する。 本手法は学習自由サンプリングと学習ベースサンプリングの両方の長所をシームレスに統合する。 従来の蒸留法と比較して計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2023-09-28T13:12:18Z)
• Consistency Models [89.68380014789861]
  ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。 設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。 イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
  論文  参考訳（メタデータ） (2023-03-02T18:30:16Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。