論文の概要: T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching

• arxiv url: http://arxiv.org/abs/2402.14167v1
• Date: Wed, 21 Feb 2024 23:08:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 17:03:17.033296
• Title: T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching
• Title（参考訳）: T-Stitch: 軌道スティッチ付き事前学習拡散モデルにおける高速化サンプリング
• Authors: Zizheng Pan, Bohan Zhuang, De-An Huang, Weili Nie, Zhiding Yu, Chaowei Xiao, Jianfei Cai, Anima Anandkumar
• Abstract要約: Trajectory Stitching T-Stitchは, ほとんどあるいは全く発生しないことなくサンプリング効率を向上させるための, 単純かつ効率的な手法である。 我々の重要な洞察は、異なる拡散モデルが同じトレーニングデータ分布の下で同様のエンコーディングを学ぶことである。 また,本手法は,SDモデルの高速化を目的としたドロップイン手法としても利用できる。
• 参考スコア（独自算出の注目度）: 143.72720563387082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling from diffusion probabilistic models (DPMs) is often expensive for high-quality image generation and typically requires many steps with a large model. In this paper, we introduce sampling Trajectory Stitching T-Stitch, a simple yet efficient technique to improve the sampling efficiency with little or no generation degradation. Instead of solely using a large DPM for the entire sampling trajectory, T-Stitch first leverages a smaller DPM in the initial steps as a cheap drop-in replacement of the larger DPM and switches to the larger DPM at a later stage. Our key insight is that different diffusion models learn similar encodings under the same training data distribution and smaller models are capable of generating good global structures in the early steps. Extensive experiments demonstrate that T-Stitch is training-free, generally applicable for different architectures, and complements most existing fast sampling techniques with flexible speed and quality trade-offs. On DiT-XL, for example, 40% of the early timesteps can be safely replaced with a 10x faster DiT-S without performance drop on class-conditional ImageNet generation. We further show that our method can also be used as a drop-in technique to not only accelerate the popular pretrained stable diffusion (SD) models but also improve the prompt alignment of stylized SD models from the public model zoo. Code is released at https://github.com/NVlabs/T-Stitch
• Abstract（参考訳）: 拡散確率モデル(dpms)からのサンプリングは、高品質な画像生成にしばしば高価であり、通常、大きなモデルを持つ多くのステップを必要とする。 本稿では,サンプリング効率を向上させるための簡易かつ効率的な手法であるサンプリング軌道ステッチングt-stitchを提案する。 T-Stitchは、サンプリング軌道全体に対して単に大きなDPMを使用する代わりに、最初のステップで小さなDPMを、より大きなDPMの安価なドロップイン交換として利用し、後段で大きなDPMに切り替える。 私たちの重要な洞察は、異なる拡散モデルが同じトレーニングデータ分散の下で同様のエンコーディングを学習し、より小さなモデルが初期の段階で優れたグローバル構造を生成することができるということです。 広範な実験により、t-stitchはトレーニングフリーであり、一般的に異なるアーキテクチャに適用でき、柔軟性と品質のトレードオフにより、既存のほとんどの高速サンプリング技術を補完する。 例えば、DiT-XLでは、早期の時間ステップの40%は、クラス条件のImageNet生成のパフォーマンス低下なしに、安全に10倍高速なDiT-Sに置き換えることができる。 さらに,本手法は,一般的なSDモデルの加速だけでなく,パブリックモデル動物園からのスタイリング型SDモデルの迅速なアライメント向上にも有効であることを示す。 コードはhttps://github.com/nvlabs/t-stitchでリリース

関連論文リスト

• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Single Parent Family: A Spectrum of Family Members from a Single Pre-Trained Foundation Model [20.054342930450055]
  本稿では,大規模言語モデルの圧縮に適したプログレッシブ・ローランク分解法(PLRD)を提案する。 PLRDは計算オーバーヘッドとエネルギー消費を大幅に削減する。 この結果から,PLRD は LLM の効率的なスケーリングのための新しい標準となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-28T15:27:57Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
  DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。 約10の関数評価で高品質なサンプルを生成することができる。 実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
  論文  参考訳（メタデータ） (2023-07-21T02:28:54Z)
• Optimizing DDPM Sampling with Shortcut Fine-Tuning [16.137936204766692]
  ショートカットファインチューニング(SFT)は、事前学習した拡散拡散確率モデル(DDPM)の高速サンプリングの課題に対処するための新しいアプローチである。 SFTは、積分確率メートル法(IPM)の直接最小化によるDDPMサンプリング器の微調整を提唱している。 制御の観点から着想を得た新しいアルゴリズム SFT-PG: Shortcut Fine-Tuning with Policy Gradient を提案する。
  論文  参考訳（メタデータ） (2023-01-31T01:37:48Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。