論文の概要: SwiftDiffusion: Efficient Diffusion Model Serving with Add-on Modules

• arxiv url: http://arxiv.org/abs/2407.02031v2
• Date: Fri, 06 Dec 2024 11:47:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:02.865936
• Title: SwiftDiffusion: Efficient Diffusion Model Serving with Add-on Modules
• Title（参考訳）: SwiftDiffusion: アドオンモジュールを使った効率的な拡散モデル
• Authors: Suyi Li, Lingyun Yang, Xiaoxiao Jiang, Hanfeng Lu, Dakai An, Zhipeng Di, Weiyi Lu, Jiawei Chen, Kan Liu, Yinghao Yu, Tao Lan, Guodong Yang, Lin Qu, Liping Zhang, Wei Wang,
• Abstract要約: 拡散モデルを使用したテキスト・ツー・イメージ(T2I)生成は、今日のAIクラウドにおけるブロックバスターサービスとなっている。 プロダクションT2Iサービスは一般的に、さまざまな"アドオン"モジュールでベース拡散モデルを拡張したサービスワークフローを伴います。 我々は、総合的なアプローチでT2Iワークフローを効率的に提供するシステムであるSwiftDiffusionを提案する。
• 参考スコア（独自算出の注目度）: 9.172732822379862
• License:
• Abstract: Text-to-image (T2I) generation using diffusion models has become a blockbuster service in today's AI cloud. A production T2I service typically involves a serving workflow where a base diffusion model is augmented with various "add-on" modules, notably ControlNet and LoRA, to enhance image generation control. Compared to serving the base model alone, these add-on modules introduce significant loading and computational overhead, resulting in increased latency. In this paper, we present SwiftDiffusion, a system that efficiently serves a T2I workflow through a holistic approach. SwiftDiffusion decouples ControNet from the base model and deploys it as a separate, independently scaled service on dedicated GPUs, enabling ControlNet caching, parallelization, and sharing. To mitigate the high loading overhead of LoRA serving, SwiftDiffusion employs a bounded asynchronous LoRA loading (BAL) technique, allowing LoRA loading to overlap with the initial base model execution by up to k steps without compromising image quality. Furthermore, SwiftDiffusion optimizes base model execution with a novel latent parallelism technique. Collectively, these designs enable SwiftDiffusion to outperform the state-of-the-art T2I serving systems, achieving up to 7.8x latency reduction and 1.6x throughput improvement in serving SDXL models on H800 GPUs, without sacrificing image quality.
• Abstract（参考訳）: 拡散モデルを使用したテキスト・ツー・イメージ(T2I)生成は、今日のAIクラウドにおけるブロックバスターサービスとなっている。 プロダクションT2Iサービスは通常、イメージ生成制御を強化するために、ベース拡散モデルを様々な"アドオン"モジュールで拡張するサービスワークフローを含む。 ベースモデルのみを提供するのに比べ、これらのアドオンモジュールはロードと計算オーバーヘッドが大幅に増加し、レイテンシが増大する。 本稿では,T2Iワークフローを総合的なアプローチで効率的に処理するシステムであるSwiftDiffusionを提案する。 SwiftDiffusionはControNetをベースモデルから切り離し、専用のGPU上で独立してスケールされたサービスとしてデプロイする。 LoRAサービスの高負荷オーバーヘッドを軽減するため、SwiftDiffusionでは、境界付き非同期LoRAローディング(BAL)技術を採用している。 さらに、SwiftDiffusionは、新しい潜時並列化技術でベースモデル実行を最適化する。 これらの設計を総合すると、SwiftDiffusionは最先端のT2Iサービスシステムより優れており、画像品質を犠牲にすることなく、H800 GPU上でSDXLモデルを提供することで、最大7.8倍のレイテンシ削減と1.6倍のスループット向上を実現している。

関連論文リスト

• Diffusion Models without Classifier-free Guidance [41.59396565229466]
  モデルガイダンス(MG)は拡散モデルアドレスを訓練するための新しい目的であり、よく使われるガイダンス(CFG)を除去する。 我々の革新的なアプローチは、標準モデリングを超越し、条件の後方確率を組み込む。 提案手法は,CFGを用いた並列拡散モデルにおいても,学習過程を著しく加速し,推論速度を2倍にし,並列拡散モデルでさえ並列に超える異常な品質を実現する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:50Z)
• CtrLoRA: An Extensible and Efficient Framework for Controllable Image Generation [69.43106794519193]
  本稿では,複数のベース条件からイメージ・ツー・イメージ生成の共通知識を学習するために,ベース制御ネットを訓練するCtrLoRAフレームワークを提案する。 学習可能なパラメータをControlNetと比較して90%削減し,モデルの重み付けとデプロイのしきい値を大幅に下げる。
  論文  参考訳（メタデータ） (2024-10-12T07:04:32Z)
• A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
  安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。 本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-31T21:47:05Z)
• One-Step Image Translation with Text-to-Image Models [35.0987002313882]
  本稿では,新たな課題や領域に一段階拡散モデルを適用するための汎用的手法を提案する。 我々は,バニラ潜在拡散モデルの様々なモジュールを,小さなトレーニング可能な重みを持つ単一エンドツーエンドのジェネレータネットワークに統合する。 我々のモデルであるCycleGAN-Turboは、様々なシーン翻訳タスクにおいて、既存のGANベースおよび拡散ベースの手法より優れています。
  論文  参考訳（メタデータ） (2024-03-18T17:59:40Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• SpeedUpNet: A Plug-and-Play Adapter Network for Accelerating Text-to-Image Diffusion Models [4.232258232565518]
  テキスト・ツー・イメージ拡散モデル(SD)は、広範な計算資源を必要とする一方で、大幅な進歩を示す。 LCM-LoRAは、様々なモデルで一度トレーニング可能で、普遍性を提供するが、アクセラレーション前後で生成されたコンテンツの一貫性を確保することはめったにない。 本稿では,革新的アクセラレーションモジュールであるSpeedUpNet(SUN)を提案し,普遍性と一貫性の課題に対処する。
  論文  参考訳（メタデータ） (2023-12-13T09:42:04Z)
• SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds [88.06788636008051]
  テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語の記述から素晴らしい画像を作り出すことができる。 これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションを持ち、計算コストが高く、実行が遅い。 モバイル端末上でテキストから画像への拡散モデルの実行を2ドル以下でアンロックする汎用的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:59:25Z)
• BLIP-Diffusion: Pre-trained Subject Representation for Controllable Text-to-Image Generation and Editing [73.74570290836152]
  BLIP-Diffusionはマルチモーダル制御をサポートする新しい主観駆動画像生成モデルである。 他の主観駆動生成モデルとは異なり、BLIP-Diffusionは主観表現を提供するために事前訓練された新しいマルチモーダルエンコーダを導入する。
  論文  参考訳（メタデータ） (2023-05-24T04:51:04Z)
• GlueGen: Plug and Play Multi-modal Encoders for X-to-image Generation [143.81719619351335]
  拡散過程に基づくテキスト・ツー・イメージ(T2I)モデルは,ユーザが提供するキャプションを用いた制御可能な画像生成において顕著な成功を収めた。 現在のテキストエンコーダとT2Iモデルのイメージデコーダの密結合により、置き換えやアップグレードが困難になる。 本稿では,新しいGlueNetモデルを適用したGlueGenを提案する。
  論文  参考訳（メタデータ） (2023-03-17T15:37:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。