論文の概要: Bespoke Non-Stationary Solvers for Fast Sampling of Diffusion and Flow Models

• arxiv url: http://arxiv.org/abs/2403.01329v1
• Date: Sat, 2 Mar 2024 22:27:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 14:07:38.989151
• Title: Bespoke Non-Stationary Solvers for Fast Sampling of Diffusion and Flow Models
• Title（参考訳）: 拡散・流れモデルの高速サンプリングのための非定常解法
• Authors: Neta Shaul, Uriel Singer, Ricky T. Q. Chen, Matthew Le, Ali Thabet, Albert Pumarola, Yaron Lipman
• Abstract要約: Bespoke Non-Stationary (BNS) は拡散流モデルの試料効率を改善するための蒸留法である。 モデル蒸留と比較して、BNSソルバは小さなパラメータ空間、高速な最適化、サンプルの多様性の維持の恩恵を受ける。 我々は, 条件付き画像生成, テキスト・ツー・イメージ生成, テキスト・ツー・オーディオ生成のためのBNSソルバを用いて実験を行い, 試料近似(PSNR)を大幅に改善した。
• 参考スコア（独自算出の注目度）: 37.87360302300045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces Bespoke Non-Stationary (BNS) Solvers, a solver distillation approach to improve sample efficiency of Diffusion and Flow models. BNS solvers are based on a family of non-stationary solvers that provably subsumes existing numerical ODE solvers and consequently demonstrate considerable improvement in sample approximation (PSNR) over these baselines. Compared to model distillation, BNS solvers benefit from a tiny parameter space ($<$200 parameters), fast optimization (two orders of magnitude faster), maintain diversity of samples, and in contrast to previous solver distillation approaches nearly close the gap from standard distillation methods such as Progressive Distillation in the low-medium NFE regime. For example, BNS solver achieves 45 PSNR / 1.76 FID using 16 NFE in class-conditional ImageNet-64. We experimented with BNS solvers for conditional image generation, text-to-image generation, and text-2-audio generation showing significant improvement in sample approximation (PSNR) in all.
• Abstract（参考訳）: 本稿では,拡散流モデルの試料効率を向上させるための蒸留法であるBespoke Non-Stationary (BNS) Solversを紹介する。 BNSソルバは、既存の数値ODEソルバを確実に仮定し、その結果、これらのベースラインに対するサンプル近似(PSNR)を大幅に改善するノン定常ソルバのファミリーに基づいている。 モデル蒸留と比較して、BNSソルバは小さなパラメータ空間($200のパラメータ)、高速な最適化(桁違いの速さ)、サンプルの多様性の維持、そして従来のソルバ蒸留法とは対照的に、低ナトリウムNFE系におけるプログレッシブ蒸留のような標準的な蒸留方法とのギャップをほぼ埋める。 例えば、BNSソルバは、クラス条件の ImageNet-64 で 16 NFE を用いて 45 PSNR / 1.76 FID を達成する。 我々は,条件付き画像生成,テキスト・ツー・イメージ生成,テキスト2-オーディオ生成のためのBNSソルバを用いて実験を行った。

関連論文リスト

• Relational Diffusion Distillation for Efficient Image Generation [27.127061578093674]
  拡散モデルの高い遅延は、コンピューティングリソースの少ないエッジデバイスにおいて、その広範な応用を妨げる。 本研究では,拡散モデルの蒸留に適した新しい蒸留法である拡散蒸留(RDD)を提案する。 提案したRDDは, 最先端の蒸留蒸留法と比較すると1.47FID減少し, 256倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-10-10T07:40:51Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Accelerating Diffusion-based Combinatorial Optimization Solvers by Progressive Distillation [43.60874566377421]
  本稿では, 脱臭過程において少ないステップで推算を高速化するために, プログレッシブ蒸留法を提案する。 実験結果から, 徐々に蒸留したモデルでは0.019%の性能低下を伴わず, 16倍の速度で推算できることがわかった。
  論文  参考訳（メタデータ） (2023-08-12T21:25:24Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Solving Diffusion ODEs with Optimal Boundary Conditions for Better Image Super-Resolution [82.50210340928173]
  拡散モデルのランダム性は非効率性と不安定性をもたらすため、SR結果の品質を保証することは困難である。 本稿では,一連の拡散型SR手法の恩恵を受ける可能性を持つプラグアンドプレイサンプリング手法を提案する。 提案手法によりサンプリングされたSR結果の質は, 学習前の拡散ベースSRモデルと同一のランダム性を有する現在の手法でサンプリングされた結果の質より優れる。
  論文  参考訳（メタデータ） (2023-05-24T17:09:54Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。