論文の概要: Knowledge Distillation in Iterative Generative Models for Improved Sampling Speed

• arxiv url: http://arxiv.org/abs/2101.02388v1
• Date: Thu, 7 Jan 2021 06:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 20:33:14.202960
• Title: Knowledge Distillation in Iterative Generative Models for Improved Sampling Speed
• Title（参考訳）: サンプリング速度向上のための反復生成モデルの知識蒸留
• Authors: Eric Luhman, Troy Luhman
• Abstract要約: ノイズ条件スコアネットワークなどの反復生成モデルは、初期雑音ベクトルを徐々にデノベートすることで高品質なサンプルを生成する。 知識蒸留と画像生成の新たな関連性を確立し,多段階の認知過程を単一のステップに蒸留する手法を提案する。 我々のDenoising Studentsは、CIFAR-10とCelebAデータセットのGANに匹敵する高品質なサンプルを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Iterative generative models, such as noise conditional score networks and denoising diffusion probabilistic models, produce high quality samples by gradually denoising an initial noise vector. However, their denoising process has many steps, making them 2-3 orders of magnitude slower than other generative models such as GANs and VAEs. In this paper, we establish a novel connection between knowledge distillation and image generation with a technique that distills a multi-step denoising process into a single step, resulting in a sampling speed similar to other single-step generative models. Our Denoising Student generates high quality samples comparable to GANs on the CIFAR-10 and CelebA datasets, without adversarial training. We demonstrate that our method scales to higher resolutions through experiments on 256 x 256 LSUN. Code and checkpoints are available at https://github.com/tcl9876/Denoising_Student
• Abstract（参考訳）: 雑音条件スコアネットワークや拡散確率モデルなどの反復生成モデルは、初期雑音ベクトルを徐々にノイズ化し、高品質なサンプルを生成する。 しかし、それらの分解過程は多くのステップがあり、GANやVAEのような他の生成モデルよりも2～3桁遅い。 本稿では,複数段階の脱離過程を単一ステップに蒸留し,他の単一ステップ生成モデルと類似したサンプリング速度を実現する手法を用いて,知識蒸留と画像生成との新たな接続を確立する。 我々のDenoising Studentsは、CIFAR-10とCelebAデータセットに比較して高品質なサンプルを生成する。 本手法は256 x 256 lsun実験により高分解能にスケールできることを実証する。 コードとチェックポイントはhttps://github.com/tcl9876/Denoising_Studentで入手できる。

関連論文リスト

• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• AdaDiff: Adaptive Step Selection for Fast Diffusion Models [82.78899138400435]
  我々は、インスタンス固有のステップ利用ポリシーを学ぶために設計された軽量フレームワークであるAdaDiffを紹介します。 AdaDiffはポリシーメソッドを使用して最適化され、慎重に設計された報酬関数を最大化する。 我々は3つの画像生成と2つのビデオ生成ベンチマークの実験を行い、本手法がベースラインと同じような視覚的品質を実現することを示す。
  論文  参考訳（メタデータ） (2023-11-24T11:20:38Z)
• Simultaneous Image-to-Zero and Zero-to-Noise: Diffusion Models with Analytical Image Attenuation [53.04220377034574]
  高品質(未条件)な画像生成のための前方拡散プロセスに解析的画像減衰プロセスを導入することを提案する。 本手法は,フォワード画像からノイズへのマッピングを,テクスチメジからゼロへのマッピングとテクスティケロ・ツー・ノイズマッピングの同時マッピングとして表現する。 我々は,CIFAR-10やCelebA-HQ-256などの無条件画像生成や,超解像,サリエンシ検出,エッジ検出,画像インペインティングなどの画像条件下での下流処理について実験を行った。
  論文  参考訳（メタデータ） (2023-06-23T18:08:00Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Dynamic Dual-Output Diffusion Models [100.32273175423146]
  反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。 この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。 近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
  論文  参考訳（メタデータ） (2022-03-08T11:20:40Z)
• Tackling the Generative Learning Trilemma with Denoising Diffusion GANs [20.969702008187838]
  深層生成モデルは、しばしば高いサンプル品質、モードカバレッジ、高速サンプリングに同時に対処するのに苦労する。 既存のモデルでは、そのいくつかを他のモデルと交換することが多いので、私たちはこの課題を生成学習のトリレンマと呼んでいる。 マルチモーダル条件付きGANを用いて各デノナイジングステップをモデル化するデノナイジング拡散生成対向ネットワーク(デノナイジング拡散GAN)を導入する。
  論文  参考訳（メタデータ） (2021-12-15T00:09:38Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。