論文の概要: DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models

• arxiv url: http://arxiv.org/abs/2402.19481v1
• Date: Thu, 29 Feb 2024 18:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 13:18:05.398640
• Title: DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models
• Title（参考訳）: Distrifusion:高分解能拡散モデルのための分散並列推論
• Authors: Muyang Li, Tianle Cai, Jiaxin Cao, Qinsheng Zhang, Han Cai, Junjie Bai, Yangqing Jia, Ming-Yu Liu, Kai Li and Song Han
• Abstract要約: 本研究では拡散モデルを用いて高解像度画像を生成する問題に対処するDistriFusionを提案する。 提案手法では,モデル入力を複数のパッチに分割し,各パッチをGPUに割り当てる。 提案手法は,最近の安定拡散XLに品質劣化のない適用が可能であり,NVIDIA A100の8台に対して最大6.1$timesの高速化を実現している。
• 参考スコア（独自算出の注目度）: 45.86138893174132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved great success in synthesizing high-quality images. However, generating high-resolution images with diffusion models is still challenging due to the enormous computational costs, resulting in a prohibitive latency for interactive applications. In this paper, we propose DistriFusion to tackle this problem by leveraging parallelism across multiple GPUs. Our method splits the model input into multiple patches and assigns each patch to a GPU. However, na\"{\i}vely implementing such an algorithm breaks the interaction between patches and loses fidelity, while incorporating such an interaction will incur tremendous communication overhead. To overcome this dilemma, we observe the high similarity between the input from adjacent diffusion steps and propose displaced patch parallelism, which takes advantage of the sequential nature of the diffusion process by reusing the pre-computed feature maps from the previous timestep to provide context for the current step. Therefore, our method supports asynchronous communication, which can be pipelined by computation. Extensive experiments show that our method can be applied to recent Stable Diffusion XL with no quality degradation and achieve up to a 6.1$\times$ speedup on eight NVIDIA A100s compared to one. Our code is publicly available at https://github.com/mit-han-lab/distrifuser.
• Abstract（参考訳）: 拡散モデルは高品質な画像の合成において大きな成功を収めた。 しかし、拡散モデルによる高分解能画像の生成は、膨大な計算コストのため依然として困難であり、インタラクティブなアプリケーションでは制限的なレイテンシーをもたらす。 本稿では,複数のGPUにまたがる並列性を活用することで,この問題に対処するDistriFusionを提案する。 提案手法では,モデル入力を複数のパッチに分割し,各パッチをGPUに割り当てる。 しかし,このようなアルゴリズムの実装はパッチ間の相互作用を壊し,忠実さを損なう一方で,そのようなインタラクションを組み込むことで通信オーバーヘッドが大幅に増大する。 このジレンマを克服するために,隣接する拡散ステップからの入力間の高い類似性を観察し,従来の時間ステップから予め計算された特徴マップを再利用して現在のステップのコンテキストを提供する拡散プロセスの逐次的性質を生かしたパッチ並列性を提案する。 そこで本手法は,計算によってパイプライン化可能な非同期通信をサポートする。 広範な実験により,最近の安定拡散xlに品質劣化を伴わずに適用でき,nvidia a100s8台で6.1$\times$のスピードアップを達成できた。 私たちのコードはhttps://github.com/mit-han-lab/distrifuser.comで公開されています。

関連論文リスト

• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Partially Conditioned Patch Parallelism for Accelerated Diffusion Model Inference [0.7619404259039282]
  拡散モデルは画像生成のエキサイティングな能力を示しており、ビデオ作成にも非常に有望である。 1つのサンプルを生成するのに必要なシーケンシャルな記述ステップは、数十ないし数百のイテレーションを必要とする可能性がある。 本研究では,高分解能拡散モデルの推論を高速化する部分条件付きパッチ並列性を提案する。
  論文  参考訳（メタデータ） (2024-12-04T02:12:50Z)
• xDiT: an Inference Engine for Diffusion Transformers (DiTs) with Massive Parallelism [5.704297874096985]
  拡散モデルは高品質の画像やビデオを生成する上で重要な要素である。 本稿では,DiTの総合的並列推論エンジンであるxDiTを紹介する。 特に、Ethernetに接続されたGPUクラスタ上でDiTsのスケーラビリティを最初に示すのは、私たちです。
  論文  参考訳（メタデータ） (2024-11-04T01:40:38Z)
• SpotDiffusion: A Fast Approach For Seamless Panorama Generation Over Time [7.532695984765271]
  生成モデルを用いて高解像度画像を生成する新しい手法を提案する。 提案手法は,時間とともに重なりのないデノベーションウィンドウをシフトさせ,一段階のシームが次回修正されるようにする。 提案手法は計算効率の向上や推論時間の高速化など,いくつかの重要な利点を提供する。
  論文  参考訳（メタデータ） (2024-07-22T09:44:35Z)
• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• PipeFusion: Patch-level Pipeline Parallelism for Diffusion Transformers Inference [5.704297874096985]
  PipeFusionは、複数のGPUでイメージをパッチとモデルレイヤに分割する。 通信と計算を効率的にオーケストレーションするために、パッチレベルのパイプライン並列戦略を採用している。
  論文  参考訳（メタデータ） (2024-05-23T11:00:07Z)
• Lightning-Fast Image Inversion and Editing for Text-to-Image Diffusion Models [46.729930784279645]
  暗黙の方程式の根を求めることによって問題を定式化し,効率よく解ける手法を考案する。 我々の解法は、数値解析においてよく知られた手法であるNewton-Raphson (NR) に基づいている。 希少物体の画像および生成における改善された結果を示す。
  論文  参考訳（メタデータ） (2023-12-19T19:19:19Z)
• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• SDM: Spatial Diffusion Model for Large Hole Image Inpainting [106.90795513361498]
  本稿では,空間拡散モデル(SDM)を提案する。 また,提案手法は非結合確率モデルと空間拡散スキームにより,高品質な大穴工法を実現する。
  論文  参考訳（メタデータ） (2022-12-06T13:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。