論文の概要: TRACT: Denoising Diffusion Models with Transitive Closure
Time-Distillation
- arxiv url: http://arxiv.org/abs/2303.04248v1
- Date: Tue, 7 Mar 2023 21:46:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 15:55:14.665810
- Title: TRACT: Denoising Diffusion Models with Transitive Closure
Time-Distillation
- Title(参考訳): TRACT:過渡的閉鎖時間拡張を伴う拡散モデル
- Authors: David Berthelot, Arnaud Autef, Jierui Lin, Dian Ang Yap, Shuangfei
Zhai, Siyuan Hu, Daniel Zheng, Walter Talbot, Eric Gu
- Abstract要約: 二分時間蒸留(BTD)を拡張する新しい方法であるTRACT(TRACT)を導入する。
TRACTは、同じアーキテクチャ上で最大2.4倍のFIDを改善し、新しい単一ステップ拡散拡散インプリシットモデル(DDIM)を実現する
PyTorchの実装はまもなくリリースされる。
- 参考スコア(独自算出の注目度): 9.51952318966814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Denoising Diffusion models have demonstrated their proficiency for generative
sampling. However, generating good samples often requires many iterations.
Consequently, techniques such as binary time-distillation (BTD) have been
proposed to reduce the number of network calls for a fixed architecture. In
this paper, we introduce TRAnsitive Closure Time-distillation (TRACT), a new
method that extends BTD. For single step diffusion,TRACT improves FID by up to
2.4x on the same architecture, and achieves new single-step Denoising Diffusion
Implicit Models (DDIM) state-of-the-art FID (7.4 for ImageNet64, 3.8 for
CIFAR10). Finally we tease apart the method through extended ablations. The
PyTorch implementation will be released soon.
- Abstract(参考訳): Denoising Diffusion Modelは、生成的サンプリングの習熟度を実証している。
しかし、良いサンプルを生成するには、しばしば多くのイテレーションが必要です。
その結果,固定アーキテクチャに対するネットワーク呼び出し回数を減らすため,バイナリ時間蒸留(BTD)などの手法が提案されている。
本稿では,btdを拡張する新しい方法であるトランジッティブクロージャ時間蒸留(tract)を提案する。
単一ステップ拡散では、TRACTは同じアーキテクチャ上でFIDを2.4倍改善し、新しい単一ステップ拡散拡散インプリシットモデル(DDIM)の最先端FID(ImageNet64では7.4、CIFAR10では3.8)を実現する。
最後に, 拡張アブレーションによる方法の分離を行った。
PyTorchの実装はまもなくリリースされる。
関連論文リスト
- BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - CoreDiff: Contextual Error-Modulated Generalized Diffusion Model for
Low-Dose CT Denoising and Generalization [41.64072751889151]
低線量CT(LDCT)画像は光子飢餓と電子ノイズによりノイズやアーティファクトに悩まされる。
本稿では,低用量CT (LDCT) 用新しいCOntextual eRror-modulated gEneralized Diffusion Model(CoreDiff)を提案する。
論文 参考訳(メタデータ) (2023-04-04T14:13:13Z) - DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。
入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
論文 参考訳(メタデータ) (2023-03-27T00:40:52Z) - Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。
本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。
提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
論文 参考訳(メタデータ) (2023-02-08T19:38:59Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳(メタデータ) (2022-10-06T18:03:56Z) - ProDiff: Progressive Fast Diffusion Model For High-Quality
Text-to-Speech [63.780196620966905]
本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。
ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。
評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。
ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
論文 参考訳(メタデータ) (2022-07-13T17:45:43Z) - Subspace Diffusion Generative Models [4.310834990284412]
スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。
データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。
私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
論文 参考訳(メタデータ) (2022-05-03T13:43:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。