論文の概要: Trajectory Consistency Distillation

• arxiv url: http://arxiv.org/abs/2402.19159v1
• Date: Thu, 29 Feb 2024 13:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 14:45:33.761765
• Title: Trajectory Consistency Distillation
• Title（参考訳）: 軌道整合蒸留
• Authors: Jianbin Zheng, Minghui Hu, Zhongyi Fan, Chaoyue Wang, Changxing Ding, Dacheng Tao, Tat-Jen Cham
• Abstract要約: トラジェクトリ一貫性関数と戦略的サンプリングを含むトラジェクトリ一貫性蒸留(TCD)を導入する。 TCDは低NFEの画質を著しく向上させるが、高NFEの教師モデルと比較してより詳細な結果が得られる。
• 参考スコア（独自算出の注目度）: 79.51926254178858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent Consistency Model (LCM) extends the Consistency Model to the latent space and leverages the guided consistency distillation technique to achieve impressive performance in accelerating text-to-image synthesis. However, we observed that LCM struggles to generate images with both clarity and detailed intricacy. To address this limitation, we initially delve into and elucidate the underlying causes. Our investigation identifies that the primary issue stems from errors in three distinct areas. Consequently, we introduce Trajectory Consistency Distillation (TCD), which encompasses trajectory consistency function and strategic stochastic sampling. The trajectory consistency function diminishes the distillation errors by broadening the scope of the self-consistency boundary condition and endowing the TCD with the ability to accurately trace the entire trajectory of the Probability Flow ODE. Additionally, strategic stochastic sampling is specifically designed to circumvent the accumulated errors inherent in multi-step consistency sampling, which is meticulously tailored to complement the TCD model. Experiments demonstrate that TCD not only significantly enhances image quality at low NFEs but also yields more detailed results compared to the teacher model at high NFEs.
• Abstract（参考訳）: LCM(Latent Consistency Model)は、一貫性モデルを潜在空間に拡張し、ガイドされた一貫性蒸留技術を活用して、テキストと画像の合成を高速化する。 しかし,LCMは画像の明瞭度と細かな精度の両方で画像を生成するのに苦労している。 この制限に対処するため、私たちは最初、根本原因を掘り下げて解明しました。 調査では, 主な問題は3つの領域の誤りに起因すると確認した。 その結果,軌道整合性関数と戦略的確率的サンプリングを含む軌道整合性蒸留(TCD)を導入した。 軌道整合性関数は、自己矛盾境界条件の範囲を広げ、tcdを確率フローodeの軌道全体を正確に追跡する能力で内挿することにより蒸留誤差を減少させる。 さらに、戦略的確率的サンプリングは、多段階一貫性サンプリングに固有の累積誤差を回避するために特別に設計されている。 実験により、TDは低NFEにおける画像品質を著しく向上するだけでなく、高NFEにおける教師モデルと比較してより詳細な結果が得られることが示された。

関連論文リスト

• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Consistency Purification: Effective and Efficient Diffusion Purification towards Certified Robustness [28.09748997491938]
  本報告では, 従来よりも効率効率の良い優れた浄化器である一貫性浄化について紹介する。 整合性モデルはPF-ODEから抽出した一段階生成モデルであり、単一のネットワーク評価で1次元の純化画像を生成することができる。 総合的な実験により,我々の整合性浄化フレームワークは,ベースライン法と比較して,最先端の信頼性の高いロバスト性と効率性を実現していることが示された。
  論文  参考訳（メタデータ） (2024-06-30T08:34:35Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Towards a mathematical theory for consistency training in diffusion models [17.632123036281957]
  本稿では,一貫性モデルの理論的基盤を確立するための第一歩を踏み出す。 分布中のターゲットに近接する$varepsilon$のサンプルを生成するためには、データ次元で$d5/2/varepsilon$を超える一貫性学習のステップの数に十分であることを示す。 我々の理論は一貫性モデルの有効性と有効性に関する厳密な洞察を与え、下流推論タスクにおけるそれらの有用性を示す。
  論文  参考訳（メタデータ） (2024-02-12T17:07:02Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。