論文の概要: DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models

• arxiv url: http://arxiv.org/abs/2402.19481v4
• Date: Sun, 14 Jul 2024 21:30:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 01:45:18.231054
• Title: DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models
• Title（参考訳）: Distrifusion:高分解能拡散モデルのための分散並列推論
• Authors: Muyang Li, Tianle Cai, Jiaxin Cao, Qinsheng Zhang, Han Cai, Junjie Bai, Yangqing Jia, Ming-Yu Liu, Kai Li, Song Han,
• Abstract要約: 本研究では拡散モデルを用いて高解像度画像を生成する問題に対処するDistriFusionを提案する。 提案手法では,モデル入力を複数のパッチに分割し,各パッチをGPUに割り当てる。 提案手法は,最近の安定拡散XLに品質劣化のない適用が可能であり,NVIDIA A100の8台に対して最大6.1$timesの高速化を実現している。
• 参考スコア（独自算出の注目度）: 44.384572903945724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved great success in synthesizing high-quality images. However, generating high-resolution images with diffusion models is still challenging due to the enormous computational costs, resulting in a prohibitive latency for interactive applications. In this paper, we propose DistriFusion to tackle this problem by leveraging parallelism across multiple GPUs. Our method splits the model input into multiple patches and assigns each patch to a GPU. However, naively implementing such an algorithm breaks the interaction between patches and loses fidelity, while incorporating such an interaction will incur tremendous communication overhead. To overcome this dilemma, we observe the high similarity between the input from adjacent diffusion steps and propose displaced patch parallelism, which takes advantage of the sequential nature of the diffusion process by reusing the pre-computed feature maps from the previous timestep to provide context for the current step. Therefore, our method supports asynchronous communication, which can be pipelined by computation. Extensive experiments show that our method can be applied to recent Stable Diffusion XL with no quality degradation and achieve up to a 6.1$\times$ speedup on eight NVIDIA A100s compared to one. Our code is publicly available at https://github.com/mit-han-lab/distrifuser.
• Abstract（参考訳）: 拡散モデルは高品質な画像の合成において大きな成功を収めた。 しかし、拡散モデルによる高解像度画像の生成は、膨大な計算コストのために依然として困難であり、対話型アプリケーションでは禁止的なレイテンシが生じる。 本稿では,複数のGPUにまたがる並列性を活用することで,この問題に対処するDistriFusionを提案する。 提案手法では,モデル入力を複数のパッチに分割し,各パッチをGPUに割り当てる。 しかし、そのようなアルゴリズムをネーティブに実装すると、パッチ間の相互作用が損なわれ、忠実さが失われる一方、そのような相互作用が組み込まれれば、膨大な通信オーバーヘッドが発生する。 このジレンマを克服するために、隣接拡散ステップからの入力間の高い類似性を観察し、事前計算された特徴写像を前回から再利用して拡散過程の逐次的性質を生かした変位パッチ並列性を提案する。 そこで本手法は,計算によってパイプライン化可能な非同期通信をサポートする。 その結果,本手法は最近の安定拡散XLに対して,品質劣化のない適用が可能であり,NVIDIA A100の8台に対して最大6.1$\times$の高速化を実現することができた。 私たちのコードはhttps://github.com/mit-han-lab/distrifuser.comで公開されています。

関連論文リスト

• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• PipeFusion: Displaced Patch Pipeline Parallelism for Inference of Diffusion Transformer Models [11.116433576371515]
  本稿では,拡散変換器(DiT)モデルを用いた高解像度画像生成手法であるPipeFusionを紹介する。 隣接する拡散ステップからの入力間の高い類似性を活用することで、PipeFusionはパイプラインの待ち時間を排除します。 実験により,既存の DiT 並列手法がOOM を満たす場合の高解像度画像を生成することができることを示した。
  論文  参考訳（メタデータ） (2024-05-23T11:00:07Z)
• Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
  自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-15T14:27:58Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Flover: A Temporal Fusion Framework for Efficient Autoregressive Model Parallel Inference [3.005912820808423]
  自己回帰モデル上の推論は、現在のトークンの確率分布が前のトークンに条件付けられている時間依存性を利用する。 並列に複数のリクエストを効率的に推測するための時間融合フレームワークであるFloverを提案する。 トークンレベルの並列性のオーケストレーションによって、Floverはハードウェアの最適効率を示し、システムリソースを著しく節約する。
  論文  参考訳（メタデータ） (2023-05-22T20:58:09Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• SDM: Spatial Diffusion Model for Large Hole Image Inpainting [106.90795513361498]
  本稿では,空間拡散モデル(SDM)を提案する。 また,提案手法は非結合確率モデルと空間拡散スキームにより,高品質な大穴工法を実現する。
  論文  参考訳（メタデータ） (2022-12-06T13:30:18Z)
• Subspace Diffusion Generative Models [4.310834990284412]
  スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。 データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。 私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
  論文  参考訳（メタデータ） (2022-05-03T13:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。