論文の概要: DistriFusion: Distributed Parallel Inference for High-Resolution
Diffusion Models
- arxiv url: http://arxiv.org/abs/2402.19481v1
- Date: Thu, 29 Feb 2024 18:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 13:18:05.398640
- Title: DistriFusion: Distributed Parallel Inference for High-Resolution
Diffusion Models
- Title(参考訳): Distrifusion:高分解能拡散モデルのための分散並列推論
- Authors: Muyang Li, Tianle Cai, Jiaxin Cao, Qinsheng Zhang, Han Cai, Junjie
Bai, Yangqing Jia, Ming-Yu Liu, Kai Li and Song Han
- Abstract要約: 本研究では拡散モデルを用いて高解像度画像を生成する問題に対処するDistriFusionを提案する。
提案手法では,モデル入力を複数のパッチに分割し,各パッチをGPUに割り当てる。
提案手法は,最近の安定拡散XLに品質劣化のない適用が可能であり,NVIDIA A100の8台に対して最大6.1$timesの高速化を実現している。
- 参考スコア(独自算出の注目度): 45.86138893174132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved great success in synthesizing high-quality
images. However, generating high-resolution images with diffusion models is
still challenging due to the enormous computational costs, resulting in a
prohibitive latency for interactive applications. In this paper, we propose
DistriFusion to tackle this problem by leveraging parallelism across multiple
GPUs. Our method splits the model input into multiple patches and assigns each
patch to a GPU. However, na\"{\i}vely implementing such an algorithm breaks the
interaction between patches and loses fidelity, while incorporating such an
interaction will incur tremendous communication overhead. To overcome this
dilemma, we observe the high similarity between the input from adjacent
diffusion steps and propose displaced patch parallelism, which takes advantage
of the sequential nature of the diffusion process by reusing the pre-computed
feature maps from the previous timestep to provide context for the current
step. Therefore, our method supports asynchronous communication, which can be
pipelined by computation. Extensive experiments show that our method can be
applied to recent Stable Diffusion XL with no quality degradation and achieve
up to a 6.1$\times$ speedup on eight NVIDIA A100s compared to one. Our code is
publicly available at https://github.com/mit-han-lab/distrifuser.
- Abstract(参考訳): 拡散モデルは高品質な画像の合成において大きな成功を収めた。
しかし、拡散モデルによる高分解能画像の生成は、膨大な計算コストのため依然として困難であり、インタラクティブなアプリケーションでは制限的なレイテンシーをもたらす。
本稿では,複数のGPUにまたがる並列性を活用することで,この問題に対処するDistriFusionを提案する。
提案手法では,モデル入力を複数のパッチに分割し,各パッチをGPUに割り当てる。
しかし,このようなアルゴリズムの実装はパッチ間の相互作用を壊し,忠実さを損なう一方で,そのようなインタラクションを組み込むことで通信オーバーヘッドが大幅に増大する。
このジレンマを克服するために,隣接する拡散ステップからの入力間の高い類似性を観察し,従来の時間ステップから予め計算された特徴マップを再利用して現在のステップのコンテキストを提供する拡散プロセスの逐次的性質を生かしたパッチ並列性を提案する。
そこで本手法は,計算によってパイプライン化可能な非同期通信をサポートする。
広範な実験により,最近の安定拡散xlに品質劣化を伴わずに適用でき,nvidia a100s8台で6.1$\times$のスピードアップを達成できた。
私たちのコードはhttps://github.com/mit-han-lab/distrifuser.comで公開されています。
関連論文リスト
- Fixed-point Inversion for Text-to-image diffusion models [39.66869060771468]
与えられた画像を反転させる現在の技術は遅く、あるいは不正確である。
ここでは、この問題を不動点方程式問題として定式化し、不動点反復を用いて解く。
符号化のプロンプト対応調整を適用することで、その修正方法を示す。
論文 参考訳(メタデータ) (2023-12-19T19:19:19Z) - DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for
Accelerated Seq2Seq Diffusion Models [58.450152413700586]
ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。
我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。
提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
論文 参考訳(メタデータ) (2023-10-09T15:29:10Z) - Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。
P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
論文 参考訳(メタデータ) (2023-10-02T11:31:48Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - Flover: A Temporal Fusion Framework for Efficient Autoregressive Model
Parallel Inference [3.005912820808423]
自己回帰モデル上の推論は、現在のトークンの確率分布が前のトークンに条件付けられている時間依存性を利用する。
並列に複数のリクエストを効率的に推測するための時間融合フレームワークであるFloverを提案する。
トークンレベルの並列性のオーケストレーションによって、Floverはハードウェアの最適効率を示し、システムリソースを著しく節約する。
論文 参考訳(メタデータ) (2023-05-22T20:58:09Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳(メタデータ) (2023-03-13T04:06:42Z) - SDM: Spatial Diffusion Model for Large Hole Image Inpainting [106.90795513361498]
本稿では,空間拡散モデル(SDM)を提案する。
また,提案手法は非結合確率モデルと空間拡散スキームにより,高品質な大穴工法を実現する。
論文 参考訳(メタデータ) (2022-12-06T13:30:18Z) - Conffusion: Confidence Intervals for Diffusion Models [32.36217153362305]
現在の拡散法は、生成された結果に関する統計的保証を提供していない。
我々は,1つの前方通過における間隔境界を予測するために,事前学習した拡散モデルを微調整する融合法を提案する。
コンフュージョンは3桁の精度でベースライン法より優れていることを示す。
論文 参考訳(メタデータ) (2022-11-17T18:58:15Z) - Subspace Diffusion Generative Models [4.310834990284412]
スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。
データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。
私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
論文 参考訳(メタデータ) (2022-05-03T13:43:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。