論文の概要: GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving
- arxiv url: http://arxiv.org/abs/2606.13501v1
- Date: Thu, 11 Jun 2026 15:51:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.894658
- Title: GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving
- Title（参考訳）: GF-DiT:拡散変圧器の並列化スケジューリング
- Authors: Xinwei Qiang, Yifan Hu, Shixuan Sun, Jing Yang, Han Zhao, Chen Chen, Yu Feng, Jingwen Leng, Minyi Guo,
- Abstract要約: GF-DiTは、弾性拡散変換器(DiT)のためのポリシープログラミング可能なランタイムである
ワークロードの要求やサービス目標に応じて要求を実行するという並列性に適応します。
スループットを最大6.01$times$に改善し、平均レイテンシを最大95%削減し、SLO違反率を最大90%削減し、通信グループのセットアップオーバーヘッドを778msから約60$sに削減する。
- 参考スコア（独自算出の注目度）: 36.55701690878634
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Transformers (DiTs) have become the dominant architecture for image and video generation, creating growing demand for efficient DiT serving. Existing systems assign each request a fixed parallel configuration throughout its lifetime. However, DiT workloads exhibit substantial heterogeneity across requests, execution stages, and system conditions, making static parallelism inefficient and often leading to poor GPU utilization and degraded service quality. This paper argues that DiT serving should treat GPU parallelism as a first-class schedulable resource. We present GF-DiT, a policy-programmable runtime for elastic DiT serving that dynamically adapts the parallelism of running requests according to workload demands and service objectives. GF-DiT introduces an asynchronous execution abstraction that decomposes requests into independently schedulable trajectory tasks and enables online GPU reallocation. To make elastic parallelism practical, GF-DiT further proposes group-free collectives, a lightweight communication abstraction that supports low-overhead online formation and reconfiguration of arbitrary execution groups. We implement GF-DiT in vLLM-Omni and evaluate it on representative image and video diffusion workloads. Compared with fixed-pipeline execution with static parallelism, GF-DiT improves throughput by up to 6.01$\times$, reduces mean latency by up to 95%, lowers SLO violation rates by up to 90%, and reduces communication-group setup overhead from 778 ms to approximately 60 $μ$s.
- Abstract（参考訳）: Diffusion Transformers (DiTs) は画像およびビデオ生成において支配的なアーキテクチャとなり、効率的なDiTサービスへの需要が高まっている。
既存のシステムは、各要求をその寿命を通して固定された並列構成に割り当てる。
しかし、DiTワークロードはリクエスト、実行ステージ、システム条件間でかなりの不均一性を示し、静的並列性は非効率になり、GPU使用率の低下とサービス品質の低下につながることが多い。
本稿では、DiTサービスでは、GPU並列処理を第一級のスケジューリング可能なリソースとして扱うべきであると論じる。
本稿では,ワークロード要求やサービス目標に応じて要求実行時の並列処理を動的に適応する,弾力性のあるDiTサービスのためのポリシープログラミング可能なランタイムであるGF-DiTを提案する。
GF-DiTは非同期実行抽象化を導入し、リクエストを独立したスケジューリング可能なトラジェクトリタスクに分解し、オンラインGPU再配置を可能にする。
弾力的な並列性を実現するために、GF-DiTはさらに、任意の実行グループの低オーバーヘッドオンライン形成と再構成をサポートする軽量な通信抽象化である、グループフリーな集合を提案する。
GF-DiTをvLLM-Omniに実装し、代表画像およびビデオ拡散ワークロードで評価する。
静的並列性を備えた固定パイプライン実行と比較して、GF-DiTはスループットを最大6.01$\times$に改善し、平均レイテンシを最大95%削減し、SLO違反率を最大90%削減し、通信グループセットアップオーバーヘッドを778msから約60$μ$sに削減する。
関連論文リスト
- DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors [57.944744187489185]
外部修正をネイティブなアンマスクに置き換えるDiscreteRTCを提案する。
DiscreteRTCは、非同期のインペインティングのために0行のコードを実装するのが簡単で、スクラッチから生成したアクションに比べてわずか0.7倍の計算速度で推論が高速で、フローベースのRTCに比べて実世界の動的ピックタスクの成功率が50%向上した。
論文 参考訳（メタデータ） (2026-04-27T23:04:03Z) - Hybrid JIT-CUDA Graph Optimization for Low-Latency Large Language Model Inference [0.3580891736370874]
本稿では,Just-In-Time(JIT)コンパイルとGraph実行を併用して起動オーバーヘッドを低減するハイブリッドフレームワークを提案する。
単一GPUを用いたLLaMA-2 7Bに対する提案手法の評価を行った。
論文 参考訳（メタデータ） (2026-04-25T23:19:53Z) - ResBM: Residual Bottleneck Models for Low-Bandwidth Pipeline Parallelism [0.0]
大規模分散トレーニングは、そうでなければ、未使用の計算資源を利用することができる。
近年の取り組みでは、100倍のアクティベーション圧縮が主張されているが、複雑な制約付き最適化に依存し、真のエンドツーエンドトレーニングから逸脱している。
ResBMはコンバージェンスレートを著しく損なうことなく、メモリや計算オーバーヘッドを大きく損なうことなく、最先端の128倍のアクティベーション圧縮を実現する。
論文 参考訳（メタデータ） (2026-04-13T18:40:45Z) - Why Diffusion Language Models Struggle with Truly Parallel (Non-Autoregressive) Decoding? [48.59679063480356]
拡散言語モデル(DLM)は、しばしばパラレルトークン生成を可能にするものとして宣伝されるが、実用的な高速DLMは左から右へ自動回帰(AR)のような復号力学に収束する。
我々は、ARライクなデコードの主要なドライバは、DLMの目的と、広く使われているトレーニングデータの高度に連続した構造とのミスマッチであると主張している。
この診断を契機に,非AR並列デコーディングと監視の整合性を向上する概念実証型データ中心型アプローチであるNAP(Non-Autoregressive Parallel DLMs)を提案する。
論文 参考訳（メタデータ） (2026-02-26T17:04:57Z) - Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based Optimizers [36.650880799066215]
非同期アプローチは計算の冗長性に悩まされるが、レイヤワイドパーティショニングではこの矛盾を解決できない。
データ並列化では、負荷不均衡を中和しながら原子性を尊重するアルファバランス静的分割戦略を導入する。
提案手法は,エンド・ツー・エンドでの1.57倍の高速化を実現し,ステップ遅延をベースラインに比べて5.8倍削減する。
論文 参考訳（メタデータ） (2026-02-04T07:38:24Z) - CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。
提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2025-08-15T07:49:22Z) - HedraRAG: Coordinating LLM Generation and Database Retrieval in Heterogeneous RAG Serving [10.130938079844121]
HedraRAGはグラフベースの抽象化に基づいて構築されたランタイムシステムで、ステージレベルの並列性、要求内類似性、要求間歪性といった最適化の機会を公開する。
結果として発生する実行計画は、リソース使用率を改善し、レイテンシを低減するために、ハイブリッドCPU-GPUパイプラインにマップされる。
論文 参考訳（メタデータ） (2025-07-12T04:42:43Z) - Protocol Models: Scaling Decentralized Training with Communication-Efficient Model Parallelism [59.79227116582264]
モデルスケーリングはディープラーニングの大幅な進歩につながったが、これらのモデルを分散環境でトレーニングすることは依然として難しい。
本研究では,前処理と後処理の両方を圧縮し,最大99%の圧縮が可能となる新しい圧縮アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-02T02:19:22Z) - xDiT: an Inference Engine for Diffusion Transformers (DiTs) with Massive Parallelism [5.704297874096985]
拡散モデルは高品質の画像やビデオを生成する上で重要な要素である。
本稿では,DiTの総合的並列推論エンジンであるxDiTを紹介する。
特に、Ethernetに接続されたGPUクラスタ上でDiTsのスケーラビリティを最初に示すのは、私たちです。
論文 参考訳（メタデータ） (2024-11-04T01:40:38Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。