論文の概要: Accelerate High-Quality Diffusion Models with Inner Loop Feedback

• arxiv url: http://arxiv.org/abs/2501.13107v1
• Date: Wed, 22 Jan 2025 18:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:29:31.755813
• Title: Accelerate High-Quality Diffusion Models with Inner Loop Feedback
• Title（参考訳）: 内ループフィードバックを用いた高速拡散モデル
• Authors: Matthew Gwilliam, Han Cai, Di Wu, Abhinav Shrivastava, Zhiyu Cheng,
• Abstract要約: 内ループフィードバックは拡散モデルの推論を加速するための新しいアプローチである。 ILFは拡散変換器(DiT)とDiTベースのPixArt-alphaとPixArt-sigmaによるテキスト・ツー・画像生成の両方で高い性能を達成している。
• 参考スコア（独自算出の注目度）: 50.00066451431194
• License:
• Abstract: We propose Inner Loop Feedback (ILF), a novel approach to accelerate diffusion models' inference. ILF trains a lightweight module to predict future features in the denoising process by leveraging the outputs from a chosen diffusion backbone block at a given time step. This approach exploits two key intuitions; (1) the outputs of a given block at adjacent time steps are similar, and (2) performing partial computations for a step imposes a lower burden on the model than skipping the step entirely. Our method is highly flexible, since we find that the feedback module itself can simply be a block from the diffusion backbone, with all settings copied. Its influence on the diffusion forward can be tempered with a learnable scaling factor from zero initialization. We train this module using distillation losses; however, unlike some prior work where a full diffusion backbone serves as the student, our model freezes the backbone, training only the feedback module. While many efforts to optimize diffusion models focus on achieving acceptable image quality in extremely few steps (1-4 steps), our emphasis is on matching best case results (typically achieved in 20 steps) while significantly reducing runtime. ILF achieves this balance effectively, demonstrating strong performance for both class-to-image generation with diffusion transformer (DiT) and text-to-image generation with DiT-based PixArt-alpha and PixArt-sigma. The quality of ILF's 1.7x-1.8x speedups are confirmed by FID, CLIP score, CLIP Image Quality Assessment, ImageReward, and qualitative comparisons.
• Abstract（参考訳）: 拡散モデルの推論を高速化する新しい手法である内ループフィードバック(ILF)を提案する。 ILFは、指定された時間ステップで選択された拡散バックボーンブロックからの出力を活用することで、denoisingプロセスの将来の機能を予測するために軽量モジュールをトレーニングする。 このアプローチでは,(1) 隣接する時間ステップにおけるブロックの出力が似ていること,(2) ステップに対する部分的な計算を行うことで,ステップを完全にスキップするよりもモデルに負担がかかること,の2つの重要な直観を生かしている。 なぜなら、フィードバックモジュール自体が単に拡散バックボーンからブロックになり、すべての設定がコピーされるからである。 拡散の進行に対するその影響は、ゼロ初期化から学習可能なスケーリング係数で誘惑される。 蒸留損失を用いてこのモジュールをトレーニングするが、学生として完全な拡散バックボーンが機能する以前の作業とは異なり、我々のモデルはバックボーンを凍結し、フィードバックモジュールのみをトレーニングする。 拡散モデルを最適化するための多くの取り組みは、極めて少ないステップ(1-4ステップ)で許容される画質を達成することに焦点を当てているが、我々は、最高のケース結果(通常、20ステップで達成される)のマッチングに重点を置いており、実行時間を著しく削減している。 ILFはこのバランスを効果的に達成し、拡散変圧器(DiT)を用いたクラス・ツー・イメージ生成と、DiTベースのPixArt-alphaとPixArt-sigmaを用いたテキスト・ツー・イメージ生成の両方に強い性能を示す。 ILFの1.7x-1.8xスピードアップの品質は、FID、CLIPスコア、CLIP画像品質評価、ImageReward、定性比較によって確認される。

関連論文リスト

• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• Identifying and Solving Conditional Image Leakage in Image-to-Video Diffusion Model [31.70050311326183]
  拡散モデルは、予想より少ない動きでビデオを生成する傾向がある。 推論とトレーニングの両方の観点からこの問題に対処します。 提案手法は,より低い誤差で高い動作スコアを生成することにより,ベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-06-22T04:56:16Z)
• Plug-and-Play Diffusion Distillation [14.359953671470242]
  誘導拡散モデルのための新しい蒸留手法を提案する。 オリジナルのテキスト・ツー・イメージモデルが凍結されている間、外部の軽量ガイドモデルがトレーニングされる。 提案手法は,クラス化なしガイド付きラテント空間拡散モデルの推論をほぼ半減することを示す。
  論文  参考訳（メタデータ） (2024-06-04T04:22:47Z)
• Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
  Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。 提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。 画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T23:38:12Z)
• One-Step Image Translation with Text-to-Image Models [35.0987002313882]
  本稿では,新たな課題や領域に一段階拡散モデルを適用するための汎用的手法を提案する。 我々は,バニラ潜在拡散モデルの様々なモジュールを,小さなトレーニング可能な重みを持つ単一エンドツーエンドのジェネレータネットワークに統合する。 我々のモデルであるCycleGAN-Turboは、様々なシーン翻訳タスクにおいて、既存のGANベースおよび拡散ベースの手法より優れています。
  論文  参考訳（メタデータ） (2024-03-18T17:59:40Z)
• Adversarial Diffusion Distillation [18.87099764514747]
  逆拡散蒸留(adversarial Diffusion Distillation、ADD)は、1-4ステップで大規模な基礎画像拡散モデルを効率的にサンプリングする新しい訓練手法である。 我々は,大規模なオフザシェルフ画像拡散モデルを教師信号として活用するために,スコア蒸留を用いる。 本モデルでは,既存の数ステップ法を1ステップで明らかに上回り,4ステップで最先端拡散モデル(SDXL)の性能に到達する。
  論文  参考訳（メタデータ） (2023-11-28T18:53:24Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。