論文の概要: Knowledge Distillation in Iterative Generative Models for Improved Sampling Speed

• arxiv url: http://arxiv.org/abs/2101.02388v1
• Date: Thu, 7 Jan 2021 06:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 20:33:14.202960
• Title: Knowledge Distillation in Iterative Generative Models for Improved Sampling Speed
• Title（参考訳）: サンプリング速度向上のための反復生成モデルの知識蒸留
• Authors: Eric Luhman, Troy Luhman
• Abstract要約: ノイズ条件スコアネットワークなどの反復生成モデルは、初期雑音ベクトルを徐々にデノベートすることで高品質なサンプルを生成する。 知識蒸留と画像生成の新たな関連性を確立し,多段階の認知過程を単一のステップに蒸留する手法を提案する。 我々のDenoising Studentsは、CIFAR-10とCelebAデータセットのGANに匹敵する高品質なサンプルを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Iterative generative models, such as noise conditional score networks and denoising diffusion probabilistic models, produce high quality samples by gradually denoising an initial noise vector. However, their denoising process has many steps, making them 2-3 orders of magnitude slower than other generative models such as GANs and VAEs. In this paper, we establish a novel connection between knowledge distillation and image generation with a technique that distills a multi-step denoising process into a single step, resulting in a sampling speed similar to other single-step generative models. Our Denoising Student generates high quality samples comparable to GANs on the CIFAR-10 and CelebA datasets, without adversarial training. We demonstrate that our method scales to higher resolutions through experiments on 256 x 256 LSUN. Code and checkpoints are available at https://github.com/tcl9876/Denoising_Student
• Abstract（参考訳）: 雑音条件スコアネットワークや拡散確率モデルなどの反復生成モデルは、初期雑音ベクトルを徐々にノイズ化し、高品質なサンプルを生成する。 しかし、それらの分解過程は多くのステップがあり、GANやVAEのような他の生成モデルよりも2～3桁遅い。 本稿では,複数段階の脱離過程を単一ステップに蒸留し,他の単一ステップ生成モデルと類似したサンプリング速度を実現する手法を用いて,知識蒸留と画像生成との新たな接続を確立する。 我々のDenoising Studentsは、CIFAR-10とCelebAデータセットに比較して高品質なサンプルを生成する。 本手法は256 x 256 lsun実験により高分解能にスケールできることを実証する。 コードとチェックポイントはhttps://github.com/tcl9876/Denoising_Studentで入手できる。

関連論文リスト

• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• Boosting Fast and High-Quality Speech Synthesis with Linear Diffusion [85.54515118077825]
  本稿では, 常微分方程式に基づく線形拡散モデル(LinDiff)を提案する。 計算複雑性を低減するため、LinDiffでは、入力信号を小さなパッチに分割するパッチベースの処理アプローチを採用している。 我々のモデルは、より高速な合成速度で自己回帰モデルに匹敵する品質の音声を合成することができる。
  論文  参考訳（メタデータ） (2023-06-09T07:02:43Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)
• Dynamic Dual-Output Diffusion Models [100.32273175423146]
  反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。 この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。 近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
  論文  参考訳（メタデータ） (2022-03-08T11:20:40Z)
• Tackling the Generative Learning Trilemma with Denoising Diffusion GANs [20.969702008187838]
  深層生成モデルは、しばしば高いサンプル品質、モードカバレッジ、高速サンプリングに同時に対処するのに苦労する。 既存のモデルでは、そのいくつかを他のモデルと交換することが多いので、私たちはこの課題を生成学習のトリレンマと呼んでいる。 マルチモーダル条件付きGANを用いて各デノナイジングステップをモデル化するデノナイジング拡散生成対向ネットワーク(デノナイジング拡散GAN)を導入する。
  論文  参考訳（メタデータ） (2021-12-15T00:09:38Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。