論文の概要: Inconsistencies In Consistency Models: Better ODE Solving Does Not Imply Better Samples

• arxiv url: http://arxiv.org/abs/2411.08954v1
• Date: Wed, 13 Nov 2024 19:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:25:05.982571
• Title: Inconsistencies In Consistency Models: Better ODE Solving Does Not Imply Better Samples
• Title（参考訳）: 一貫性モデルの矛盾: より優れたODE解決は、より優れたサンプルを暗示しない
• Authors: Noël Vouitsis, Rasa Hosseinzadeh, Brendan Leigh Ross, Valentin Villecroze, Satya Krishna Gorti, Jesse C. Cresswell, Gabriel Loaiza-Ganem,
• Abstract要約: CM (Consistency Model) は, 将来性のある拡散モデル蒸留法として登場した。 直接CMは、CMと比較してODEの解法誤差を減少させるが、サンプルの品質は著しく低下する。
• 参考スコア（独自算出の注目度）: 14.160314489157267
• License:
• Abstract: Although diffusion models can generate remarkably high-quality samples, they are intrinsically bottlenecked by their expensive iterative sampling procedure. Consistency models (CMs) have recently emerged as a promising diffusion model distillation method, reducing the cost of sampling by generating high-fidelity samples in just a few iterations. Consistency model distillation aims to solve the probability flow ordinary differential equation (ODE) defined by an existing diffusion model. CMs are not directly trained to minimize error against an ODE solver, rather they use a more computationally tractable objective. As a way to study how effectively CMs solve the probability flow ODE, and the effect that any induced error has on the quality of generated samples, we introduce Direct CMs, which \textit{directly} minimize this error. Intriguingly, we find that Direct CMs reduce the ODE solving error compared to CMs but also result in significantly worse sample quality, calling into question why exactly CMs work well in the first place. Full code is available at: https://github.com/layer6ai-labs/direct-cms.
• Abstract（参考訳）: 拡散モデルは極めて高品質なサンプルを生成することができるが、高価で反復的なサンプリング手順によって本質的にボトルネックとなる。 連続モデル (CM) は, 数回の反復で高忠実度サンプルを生成することで, サンプリングのコストを低減し, 将来性のある拡散モデル蒸留法として最近登場した。 一貫性モデルの蒸留は、既存の拡散モデルによって定義される確率フロー常微分方程式(ODE)を解くことを目的としている。 CMは、ODEソルバに対するエラーを最小限に抑えるために直接訓練されるのではなく、より計算的に抽出可能な目的を使用する。 確率フローODEの解法と, 生成したサンプルの品質に誘発誤差が与える影響について検討するため, 直接CMを導入し, この誤差を最小化する。 興味深いことに、直接CMは、CMと比較してODEの解法誤差を減少させるが、サンプル品質が著しく低下し、そもそもCMがうまく機能する理由を疑問視する。 完全なコードは、https://github.com/layer6ai-labs/direct-cmsで入手できる。

関連論文リスト

• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Flow Annealed Importance Sampling Bootstrap [11.458583322083125]
  Flow AIS Bootstrap (FAB) は複雑なターゲット分布を近似したトラクタブル密度モデルである。 その結果,FABは,目標評価の100倍の精度で,MDサンプルの最大値によるトレーニングよりも優れた結果が得られることがわかった。 我々は、ターゲット密度のみを用いて、アラニンジペプチド分子のボルツマン分布を初めて知る。
  論文  参考訳（メタデータ） (2022-08-03T07:44:48Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Improved Denoising Diffusion Probabilistic Models [4.919647298882951]
  その結果,ddpmは高いサンプル品質を維持しつつ,競合的なログライク性を達成できることがわかった。 また,逆拡散過程の学習分散により,フォワードパスが桁違いに小さくサンプリングできることがわかった。 これらのモデルのサンプルの品質と可能性について,モデルのキャパシティとトレーニング計算でスムーズに拡張できることを示し,スケーラビリティを向上する。
  論文  参考訳（メタデータ） (2021-02-18T23:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。