論文の概要: Accelerate High-Quality Diffusion Models with Inner Loop Feedback

• arxiv url: http://arxiv.org/abs/2501.13107v2
• Date: Thu, 23 Jan 2025 18:13:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 12:37:15.117377
• Title: Accelerate High-Quality Diffusion Models with Inner Loop Feedback
• Title（参考訳）: 内ループフィードバックを用いた高速拡散モデル
• Authors: Matthew Gwilliam, Han Cai, Di Wu, Abhinav Shrivastava, Zhiyu Cheng,
• Abstract要約: 内ループフィードバック (ILF) は拡散モデルの推論を高速化する新しい手法である。 ILFは、デノナイジングプロセスの将来の機能を予測するために、軽量モジュールをトレーニングする。 ILFは拡散変換器(DiT)とDiTベースのPixArt-alphaとPixArt-sigmaによるテキスト・ツー・画像生成の両方で高い性能を達成している。
• 参考スコア（独自算出の注目度）: 50.00066451431194
• License:
• Abstract: We propose Inner Loop Feedback (ILF), a novel approach to accelerate diffusion models' inference. ILF trains a lightweight module to predict future features in the denoising process by leveraging the outputs from a chosen diffusion backbone block at a given time step. This approach exploits two key intuitions; (1) the outputs of a given block at adjacent time steps are similar, and (2) performing partial computations for a step imposes a lower burden on the model than skipping the step entirely. Our method is highly flexible, since we find that the feedback module itself can simply be a block from the diffusion backbone, with all settings copied. Its influence on the diffusion forward can be tempered with a learnable scaling factor from zero initialization. We train this module using distillation losses; however, unlike some prior work where a full diffusion backbone serves as the student, our model freezes the backbone, training only the feedback module. While many efforts to optimize diffusion models focus on achieving acceptable image quality in extremely few steps (1-4 steps), our emphasis is on matching best case results (typically achieved in 20 steps) while significantly reducing runtime. ILF achieves this balance effectively, demonstrating strong performance for both class-to-image generation with diffusion transformer (DiT) and text-to-image generation with DiT-based PixArt-alpha and PixArt-sigma. The quality of ILF's 1.7x-1.8x speedups are confirmed by FID, CLIP score, CLIP Image Quality Assessment, ImageReward, and qualitative comparisons. Project information is available at https://mgwillia.github.io/ilf.
• Abstract（参考訳）: 拡散モデルの推論を高速化する新しい手法である内ループフィードバック(ILF)を提案する。 ILFは、指定された時間ステップで選択された拡散バックボーンブロックからの出力を活用することで、denoisingプロセスの将来の機能を予測するために軽量モジュールをトレーニングする。 このアプローチでは,(1) 隣接する時間ステップにおけるブロックの出力が似ていること,(2) ステップに対する部分的な計算を行うことで,ステップを完全にスキップするよりもモデルに負担がかかること,の2つの重要な直観を生かしている。 なぜなら、フィードバックモジュール自体が単に拡散バックボーンからブロックになり、すべての設定がコピーされるからである。 拡散の進行に対するその影響は、ゼロ初期化から学習可能なスケーリング係数で誘惑される。 蒸留損失を用いてこのモジュールをトレーニングするが、学生として完全な拡散バックボーンが機能する以前の作業とは異なり、我々のモデルはバックボーンを凍結し、フィードバックモジュールのみをトレーニングする。 拡散モデルを最適化するための多くの取り組みは、極めて少ないステップ(1-4ステップ)で許容される画質を達成することに焦点を当てているが、我々は、最高のケース結果(通常、20ステップで達成される)のマッチングに重点を置いており、実行時間を著しく削減している。 ILFはこのバランスを効果的に達成し、拡散変圧器(DiT)を用いたクラス・ツー・イメージ生成と、DiTベースのPixArt-alphaとPixArt-sigmaを用いたテキスト・ツー・イメージ生成の両方に強い性能を示す。 ILFの1.7x-1.8xスピードアップの品質は、FID、CLIPスコア、CLIP画像品質評価、ImageReward、定性比較によって確認される。 プロジェクト情報はhttps://mgwillia.github.io/ilf.comで公開されている。

関連論文リスト

• One Diffusion Step to Real-World Super-Resolution via Flow Trajectory Distillation [60.54811860967658]
  FluxSRはフローマッチングモデルに基づく新しい一段階拡散リアルISRである。 まず,フロートラジェクトリ蒸留(FTD)を導入し,多段階のフローマッチングモデルを1段階のリアルISRに蒸留する。 第2に、画像リアリズムを改善し、生成画像の高周波アーティファクト問題に対処するために、テレビLPIPSを知覚的損失として提案する。
  論文  参考訳（メタデータ） (2025-02-04T04:11:29Z)
• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• Identifying and Solving Conditional Image Leakage in Image-to-Video Diffusion Model [31.70050311326183]
  拡散モデルは、予想より少ない動きでビデオを生成する傾向がある。 推論とトレーニングの両方の観点からこの問題に対処します。 提案手法は,より低い誤差で高い動作スコアを生成することにより,ベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-06-22T04:56:16Z)
• Immiscible Diffusion: Accelerating Diffusion Training with Noise Assignment [56.609042046176555]
  準最適雑音データマッピングは拡散モデルの遅い訓練につながる。 物理学における不和性現象からインスピレーションを得て,不和性拡散を提案する。 我々のアプローチは極めて単純で、各画像の拡散可能な領域を制限するために1行のコードしか必要としない。
  論文  参考訳（メタデータ） (2024-06-18T06:20:42Z)
• Plug-and-Play Diffusion Distillation [14.359953671470242]
  誘導拡散モデルのための新しい蒸留手法を提案する。 オリジナルのテキスト・ツー・イメージモデルが凍結されている間、外部の軽量ガイドモデルがトレーニングされる。 提案手法は,クラス化なしガイド付きラテント空間拡散モデルの推論をほぼ半減することを示す。
  論文  参考訳（メタデータ） (2024-06-04T04:22:47Z)
• Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
  Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。 提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。 画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T23:38:12Z)
• One-Step Image Translation with Text-to-Image Models [35.0987002313882]
  本稿では,新たな課題や領域に一段階拡散モデルを適用するための汎用的手法を提案する。 我々は,バニラ潜在拡散モデルの様々なモジュールを,小さなトレーニング可能な重みを持つ単一エンドツーエンドのジェネレータネットワークに統合する。 我々のモデルであるCycleGAN-Turboは、様々なシーン翻訳タスクにおいて、既存のGANベースおよび拡散ベースの手法より優れています。
  論文  参考訳（メタデータ） (2024-03-18T17:59:40Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds [88.06788636008051]
  テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語の記述から素晴らしい画像を作り出すことができる。 これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションを持ち、計算コストが高く、実行が遅い。 モバイル端末上でテキストから画像への拡散モデルの実行を2ドル以下でアンロックする汎用的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。