論文の概要: Multistep Consistency Models

• arxiv url: http://arxiv.org/abs/2403.06807v3
• Date: Tue, 19 Nov 2024 14:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:47.608731
• Title: Multistep Consistency Models
• Title（参考訳）: 多段階一貫性モデル
• Authors: Jonathan Heek, Emiel Hoogeboom, Tim Salimans,
• Abstract要約: 1ステップの一貫性モデルは従来の一貫性モデルであるが、$infty$ステップの一貫性モデルは拡散モデルである。 サンプル予算を1ステップから2～8ステップに増やすことで、より高い品質のサンプルを生成するモデルをより簡単にトレーニングすることが可能になります。 提案手法はテキストから画像への拡散モデルにスケールし,元のモデルの品質に近いサンプルを生成する。
• 参考スコア（独自算出の注目度）: 24.443707181138553
• License:
• Abstract: Diffusion models are relatively easy to train but require many steps to generate samples. Consistency models are far more difficult to train, but generate samples in a single step. In this paper we propose Multistep Consistency Models: A unification between Consistency Models (Song et al., 2023) and TRACT (Berthelot et al., 2023) that can interpolate between a consistency model and a diffusion model: a trade-off between sampling speed and sampling quality. Specifically, a 1-step consistency model is a conventional consistency model whereas a $\infty$-step consistency model is a diffusion model. Multistep Consistency Models work really well in practice. By increasing the sample budget from a single step to 2-8 steps, we can train models more easily that generate higher quality samples, while retaining much of the sampling speed benefits. Notable results are 1.4 FID on Imagenet 64 in 8 step and 2.1 FID on Imagenet128 in 8 steps with consistency distillation, using simple losses without adversarial training. We also show that our method scales to a text-to-image diffusion model, generating samples that are close to the quality of the original model.
• Abstract（参考訳）: 拡散モデルは比較的訓練が容易であるが、サンプルを生成するには多くのステップが必要である。 一貫性モデルはトレーニングがはるかに難しいが、単一のステップでサンプルを生成する。 本稿では,一貫性モデルと拡散モデルの間に補間可能な,一貫性モデル (Song et al , 2023) とTRACT (Berthelot et al , 2023) の融合,すなわちサンプリング速度とサンプリング品質のトレードオフを提案する。 具体的には、1段階の一貫性モデルは従来の一貫性モデルであるが、$\infty$-stepの一貫性モデルは拡散モデルである。 マルチステップ一貫性モデルは、実際に非常にうまく機能します。 サンプル予算を1ステップから2～8ステップに増やすことで、サンプリング速度のメリットの多くを保持しながら、より高い品質のサンプルを生成するモデルをより容易にトレーニングすることが可能になります。 注目すべき結果は、Imagenet 64で8ステップで1.4 FID、Imagenet128で2.1 FID、一貫性のある蒸留で8ステップで2.1 FID、対向訓練なしで単純な損失を使用することである。 また,本手法はテキストと画像の拡散モデルにスケールし,元のモデルの品質に近いサンプルを生成する。

関連論文リスト

• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Multistep Distillation of Diffusion Models via Moment Matching [29.235113968156433]
  本稿では,拡散モデルをより高速にサンプル化するための新しい手法を提案する。 本手法は,クリーンデータの条件付き期待値に適合して,多段階拡散モデルを数段階モデルに蒸留する。 我々は、Imagenetデータセット上で、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2024-06-06T14:20:21Z)
• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• Consistency Models [89.68380014789861]
  ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。 設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。 イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
  論文  参考訳（メタデータ） (2023-03-02T18:30:16Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• Progressive Distillation for Fast Sampling of Diffusion Models [17.355749359987648]
  そこで本研究では, 学習した決定論的拡散サンプリング器を, 半分のサンプリングステップを要した新しい拡散モデルに, 多くのステップを用いて蒸留する方法を提案する。 CIFAR-10、ImageNet、LSUNなどの標準画像生成ベンチマークでは、最先端のサンプルが最大8192ステップで、知覚品質を損なうことなく、最大4ステップのモデルに精算することができる。
  論文  参考訳（メタデータ） (2022-02-01T16:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。