論文の概要: SwiftDiffusion: Efficient Diffusion Model Serving with Add-on Modules

• arxiv url: http://arxiv.org/abs/2407.02031v2
• Date: Fri, 06 Dec 2024 11:47:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:02.865936
• Title: SwiftDiffusion: Efficient Diffusion Model Serving with Add-on Modules
• Title（参考訳）: SwiftDiffusion: アドオンモジュールを使った効率的な拡散モデル
• Authors: Suyi Li, Lingyun Yang, Xiaoxiao Jiang, Hanfeng Lu, Dakai An, Zhipeng Di, Weiyi Lu, Jiawei Chen, Kan Liu, Yinghao Yu, Tao Lan, Guodong Yang, Lin Qu, Liping Zhang, Wei Wang,
• Abstract要約: 拡散モデルを使用したテキスト・ツー・イメージ(T2I)生成は、今日のAIクラウドにおけるブロックバスターサービスとなっている。 プロダクションT2Iサービスは一般的に、さまざまな"アドオン"モジュールでベース拡散モデルを拡張したサービスワークフローを伴います。 我々は、総合的なアプローチでT2Iワークフローを効率的に提供するシステムであるSwiftDiffusionを提案する。
• 参考スコア（独自算出の注目度）: 9.172732822379862
• License:
• Abstract: Text-to-image (T2I) generation using diffusion models has become a blockbuster service in today's AI cloud. A production T2I service typically involves a serving workflow where a base diffusion model is augmented with various "add-on" modules, notably ControlNet and LoRA, to enhance image generation control. Compared to serving the base model alone, these add-on modules introduce significant loading and computational overhead, resulting in increased latency. In this paper, we present SwiftDiffusion, a system that efficiently serves a T2I workflow through a holistic approach. SwiftDiffusion decouples ControNet from the base model and deploys it as a separate, independently scaled service on dedicated GPUs, enabling ControlNet caching, parallelization, and sharing. To mitigate the high loading overhead of LoRA serving, SwiftDiffusion employs a bounded asynchronous LoRA loading (BAL) technique, allowing LoRA loading to overlap with the initial base model execution by up to k steps without compromising image quality. Furthermore, SwiftDiffusion optimizes base model execution with a novel latent parallelism technique. Collectively, these designs enable SwiftDiffusion to outperform the state-of-the-art T2I serving systems, achieving up to 7.8x latency reduction and 1.6x throughput improvement in serving SDXL models on H800 GPUs, without sacrificing image quality.
• Abstract（参考訳）: 拡散モデルを使用したテキスト・ツー・イメージ(T2I)生成は、今日のAIクラウドにおけるブロックバスターサービスとなっている。 プロダクションT2Iサービスは通常、イメージ生成制御を強化するために、ベース拡散モデルを様々な"アドオン"モジュールで拡張するサービスワークフローを含む。 ベースモデルのみを提供するのに比べ、これらのアドオンモジュールはロードと計算オーバーヘッドが大幅に増加し、レイテンシが増大する。 本稿では,T2Iワークフローを総合的なアプローチで効率的に処理するシステムであるSwiftDiffusionを提案する。 SwiftDiffusionはControNetをベースモデルから切り離し、専用のGPU上で独立してスケールされたサービスとしてデプロイする。 LoRAサービスの高負荷オーバーヘッドを軽減するため、SwiftDiffusionでは、境界付き非同期LoRAローディング(BAL)技術を採用している。 さらに、SwiftDiffusionは、新しい潜時並列化技術でベースモデル実行を最適化する。 これらの設計を総合すると、SwiftDiffusionは最先端のT2Iサービスシステムより優れており、画像品質を犠牲にすることなく、H800 GPU上でSDXLモデルを提供することで、最大7.8倍のレイテンシ削減と1.6倍のスループット向上を実現している。

関連論文リスト

• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• LaDiC: Are Diffusion Models Really Inferior to Autoregressive Counterparts for Image-to-Text Generation? [10.72249123249003]
  我々は拡散モデルを再検討し、全体論的文脈モデリングと並列復号化の能力を強調した。 本稿では,分割BERTを用いた新しいアーキテクチャLaDiCを導入し,キャプション専用のラテント空間を創出する。 LaDiCは、38.2 BLEU@4と126.2 CIDErのMSデータセット上で拡散ベースのメソッドの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:47:16Z)
• E$^{2}$GAN: Efficient Training of Efficient GANs for Image-to-Image Translation [69.72194342962615]
  拡散モデルからGANを蒸留するプロセスは、より効率的にできるのか? まず、一般化された特徴を持つベースGANモデルを構築し、微調整により異なる概念に適応し、スクラッチからトレーニングの必要性を排除した。 第2に,ベースモデル全体の微調整を行うのではなく,低ランク適応(LoRA)を簡易かつ効果的なランク探索プロセスで行う。 第3に、微調整に必要な最小限のデータ量を調査し、トレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-01-11T18:59:14Z)
• Diffusion Models Without Attention [110.5623058129782]
  Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。 拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
  論文  参考訳（メタデータ） (2023-11-30T05:15:35Z)
• HiDiffusion: Unlocking Higher-Resolution Creativity and Efficiency in Pretrained Diffusion Models [13.68666823175341]
  HiDiffusionは、画像合成のためのチューニング不要な高解像度フレームワークである。 RAU-Netはオブジェクト重複を解決するために特徴マップサイズを動的に調整する。 MSW-MSAは、計算量を減らすために最適化されたウィンドウアテンションを利用する。
  論文  参考訳（メタデータ） (2023-11-29T11:01:38Z)
• Effective Quantization for Diffusion Models on CPUs [5.419875683826296]
  量子化(Quantization)は、ディープラーニングモデルを圧縮して効率を向上させる手法で、拡散モデルに適用する際の課題を提示する。 量子化学習と蒸留の両方を活用することで拡散モデルを定量化する新しい手法を提案する。 提案手法は,CPU上での推論効率を実証しながら,高画質な画像が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-02T13:14:01Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds [88.06788636008051]
  テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語の記述から素晴らしい画像を作り出すことができる。 これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションを持ち、計算コストが高く、実行が遅い。 モバイル端末上でテキストから画像への拡散モデルの実行を2ドル以下でアンロックする汎用的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:59:25Z)
• Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence [88.00004819064672]
  Diffusion Hyperfeaturesは、マルチスケールおよびマルチタイムステップの機能マップをピクセル単位の機能記述子に統合するためのフレームワークである。 提案手法は,SPair-71k実画像ベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:58:05Z)
• Wavelet Diffusion Models are fast and scalable Image Generators [3.222802562733787]
  拡散モデルは高忠実度画像生成のための強力な解であり、多くの状況においてGANを超える。 最近のDiffusionGAN法は、サンプリングステップの数を数千から数に減らして、モデルの実行時間を著しく短縮するが、その速度はGANよりもかなり遅れている。 本稿では,新しいウェーブレット拡散方式を提案することにより,速度ギャップを低減することを目的とする。 我々は、ウェーブレット分解により、画像と特徴レベルの両方から低周波数成分を抽出し、これらの成分を適応的に処理し、良好な生成品質を維持しながら高速に処理する。
  論文  参考訳（メタデータ） (2022-11-29T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。