論文の概要: SpeedUpNet: A Plug-and-Play Hyper-Network for Accelerating Text-to-Image
Diffusion Models
- arxiv url: http://arxiv.org/abs/2312.08887v3
- Date: Wed, 20 Dec 2023 08:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 17:47:56.241424
- Title: SpeedUpNet: A Plug-and-Play Hyper-Network for Accelerating Text-to-Image
Diffusion Models
- Title(参考訳): speedupnet:テキストから画像への拡散を高速化するプラグイン・アンド・プレイハイパーネットワーク
- Authors: Weilong Chai, DanDan Zheng, Jiajiong Cao, Zhiquan Chen, Changbao Wang,
Chenguang Ma
- Abstract要約: 我々はSpeedUpNet(SUN)と呼ばれる新しいSD加速モジュールを提案する。
SUNは追加の訓練なしに様々な細調整されたSDモデルに直接接続することができる。
SUNは推論ステップの数をわずか4ステップに減らし、分類子なしのガイダンスを不要にする。
- 参考スコア(独自算出の注目度): 4.484567783139048
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Text-to-image diffusion models (SD) exhibit significant advancements while
requiring extensive computational resources. Though many acceleration methods
have been proposed, they suffer from generation quality degradation or extra
training cost generalizing to new fine-tuned models. To address these
limitations, we propose a novel and universal Stable-Diffusion (SD)
acceleration module called SpeedUpNet(SUN). SUN can be directly plugged into
various fine-tuned SD models without extra training. This technique utilizes
cross-attention layers to learn the relative offsets in the generated image
results between negative and positive prompts achieving classifier-free
guidance distillation with negative prompts controllable, and introduces a
Multi-Step Consistency (MSC) loss to ensure a harmonious balance between
reducing inference steps and maintaining consistency in the generated output.
Consequently, SUN significantly reduces the number of inference steps to just 4
steps and eliminates the need for classifier-free guidance. It leads to an
overall speedup of more than 10 times for SD models compared to the
state-of-the-art 25-step DPM-solver++, and offers two extra advantages: (1)
classifier-free guidance distillation with controllable negative prompts and
(2) seamless integration into various fine-tuned Stable-Diffusion models
without training. The effectiveness of the SUN has been verified through
extensive experimentation. Project Page:
https://williechai.github.io/speedup-plugin-for-stable-diffusions.github.io
- Abstract(参考訳): テキスト・ツー・イメージ拡散モデル(SD)は、広範な計算資源を必要とする一方で大きな進歩を示す。
多くの加速法が提案されているが、それらは新しい微調整モデルに一般化した生成品質劣化や余分な訓練コストに悩まされている。
これらの制約に対処するため,我々はSpeedUpNet(SUN)と呼ばれる,新奇で普遍的なSDアクセラレーションモジュールを提案する。
SUNは追加の訓練なしに様々な細調整されたSDモデルに直接接続することができる。
この手法はクロスアテンション層を利用して、負プロンプトと正プロンプトの間の生成画像結果の相対的オフセットを学習し、負プロンプトを制御可能な分類器フリーガイダンス蒸留を行い、多段階一貫性(msc)損失を導入し、推論ステップの削減と生成出力の一貫性の維持との調和バランスを確保する。
その結果、SUNは推論ステップの数をわずか4ステップに減らし、分類器フリーガイダンスの必要性を排除した。
これは、最先端の25ステップのDPM-solver++と比較して、SDモデルの全体的な10倍のスピードアップをもたらし、(1)制御可能な負のプロンプトを持つ分類子なし誘導蒸留と(2)訓練なしで様々な微調整された安定拡散モデルへのシームレスな統合の2つの利点を提供する。
SUNの有効性は広範な実験を通じて検証されている。
プロジェクトページ: https://williechai.github.io/speedup-plugin-for-stable-diffusions.github.io
関連論文リスト
- T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with
Trajectory Stitching [143.72720563387082]
Trajectory Stitching T-Stitchは, ほとんどあるいは全く発生しないことなくサンプリング効率を向上させるための, 単純かつ効率的な手法である。
我々の重要な洞察は、異なる拡散モデルが同じトレーニングデータ分布の下で同様のエンコーディングを学ぶことである。
また,本手法は,SDモデルの高速化を目的としたドロップイン手法としても利用できる。
論文 参考訳(メタデータ) (2024-02-21T23:08:54Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:37:47Z) - ACT: Adversarial Consistency Models [62.16255121164223]
整合性トレーニング損失の最適化は,目標分布と生成分布とのワッサーシュタイン距離を最小化することを示す。
CIFAR10, ImageNet 64$times$64, LSUN Cat 256$times$256データセットにおけるFIDスコアの改善を実現した。
論文 参考訳(メタデータ) (2023-11-23T16:49:06Z) - SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-23T16:21:29Z) - Towards More Accurate Diffusion Model Acceleration with A Timestep
Aligner [84.97253871387028]
数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。
最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。
実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
論文 参考訳(メタデータ) (2023-10-14T02:19:07Z) - DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。
約10の関数評価で高品質なサンプルを生成することができる。
実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
論文 参考訳(メタデータ) (2023-07-21T02:28:54Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Wavelet Diffusion Models are fast and scalable Image Generators [3.222802562733787]
拡散モデルは高忠実度画像生成のための強力な解であり、多くの状況においてGANを超える。
最近のDiffusionGAN法は、サンプリングステップの数を数千から数に減らして、モデルの実行時間を著しく短縮するが、その速度はGANよりもかなり遅れている。
本稿では,新しいウェーブレット拡散方式を提案することにより,速度ギャップを低減することを目的とする。
我々は、ウェーブレット分解により、画像と特徴レベルの両方から低周波数成分を抽出し、これらの成分を適応的に処理し、良好な生成品質を維持しながら高速に処理する。
論文 参考訳(メタデータ) (2022-11-29T12:25:25Z) - Bi-level Off-policy Reinforcement Learning for Volt/VAR Control
Involving Continuous and Discrete Devices [2.079959811127612]
Volt/Varコントロールでは、スロータイムスケールの離散デバイス(STDD)と高速タイムスケールの連続デバイス(FTCD)の両方が関与する。
従来の最適化手法はシステムの正確なモデルに強く依存しているが、モデル化に対する耐え難い努力のために実用的でない場合もある。
本論文では, この問題をモデルフリーで解くために, RL(バイレベル・オフポリシ強化学習)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-04-13T02:22:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。