論文の概要: SparSP: Exploiting Communication Sparsity for Sequence-Parallel Video DiTs

• arxiv url: http://arxiv.org/abs/2609.32197v1
• Date: Sat, 26 Sep 2026 03:49:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 19:00:44.868317
• Title: SparSP: Exploiting Communication Sparsity for Sequence-Parallel Video DiTs
• Title（参考訳）: SparSP:Sequence-Parallel Video DiTの爆発的通信スパリティ
• Abstract要約: 拡散変換器はビデオ生成において支配的なアーキテクチャとなっている。 本稿では,注意空間をコミュニケーションプリミティブとして扱うべきであると論じる。 本稿では,効率的なスパースシーケンス並列通信システムであるSparSPを提案する。
• 参考スコア（独自算出の注目度）: 5.098311200277286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Transformers have become the dominant architecture for video generation. Their substantial computational cost motivates scaling inference across multi-GPU servers, yet efficient scaling remains challenging on commodity GPUs connected via PCIe, whose bandwidth is limited. Although sparse attention substantially reduces computation, its implications for communication remain underexplored. This paper argues that attention sparsity should be treated as a communication primitive. We present SparSP, an efficient sparse sequence parallel communication system that co-designs token distribution, communication routing, and asynchronous execution for sparse video diffusion models. First, Dependency-Aware Placement distributes sequence blocks according to diffusion models' sparse attention patterns. Second, Demand-Directed KV Routing transfers KV blocks directly to requesting GPUs without intermediate relays. Third, a Decoupled Transfer Runtime separates communication from GPU computation to reduce resource contention and maximize effective bandwidth. Our evaluation shows that SparSP improves attention performance by 1.38- 1.5$\times$, achieves an average 1.17$\times$ (up to 1.69$\times$) end-to-end speedup across three representative servers and three video diffusion models, and reduces communication volume by 12.54-23.05%. Moreover, we achieve an average 1.53-1.76$\times$ bandwidth improvement over NCCL.
• Abstract（参考訳）: 拡散変換器はビデオ生成において支配的なアーキテクチャとなっている。 その相当な計算コストは、マルチGPUサーバ間のスケーリング推論を動機付けているが、帯域幅が限られているPCIeを介して接続されたコモディティGPUでは、効率的なスケーリングは依然として困難である。 スパース・アテンションは計算を大幅に削減するが、通信に対するその意味は未解明のままである。 本稿では,注意空間をコミュニケーションプリミティブとして扱うべきであると論じる。 本稿では,スパースビデオ拡散モデルのトークン分布,通信ルーティング,非同期実行を共設計した,効率的なスパースシーケンス並列通信システムであるSparSPを提案する。 まず、Dependency-Aware Placementは拡散モデルのスパースアテンションパターンに従ってシーケンスブロックを分散する。 次に、Demand-Directed KV RoutingはKVブロックを直接中間リレーなしで要求GPUに転送する。 第3に、Decoupled Transfer Runtimeは、GPU計算から通信を分離し、リソース競合を減らし、効果的な帯域幅を最大化する。 評価の結果、SparSPは1.38～1.5$\times$で、平均1.17$\times$(最大1.69$\times$)で、3つの代表サーバと3つのビデオ拡散モデルにまたがるエンドツーエンドのスピードアップを実現し、通信容量を12.54-23.05%削減した。 さらに,NCCLよりも平均1.53-1.76$\times$バンド幅の改善を実現している。

関連論文リスト

• Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
  本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。 主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。 実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
  論文  参考訳（メタデータ） (2026-05-25T10:39:28Z)
• Spava: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention [63.69228529380251]
  Spavaはシーケンス並列フレームワークで、ロングビデオ推論に最適化されている。 Spavaは、FlashAttn、ZigZagRing、APBで12.72x、1.70x、1.18xのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-29T09:23:13Z)
• StreamFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs [8.844450350128362]
  ディフュージョントランスフォーマー(DiT)は、高品質の画像やビデオ生成において、ますます普及している。 StreamFusionは、トポロジー対応の効率的なDiTサービスエンジンである。 私たちの実験では、StreamFusionが最先端のアプローチを平均1.35タイム(最大1.77タイム)で上回ります。
  論文  参考訳（メタデータ） (2026-01-28T05:42:07Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Minute-Long Videos with Dual Parallelisms [57.22737565366549]
  Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。 我々はDualParalと呼ばれる新しい分散推論戦略を提案する。 1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
  論文  参考訳（メタデータ） (2025-05-27T11:55:22Z)
• Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning [2.685330831042324]
  通信コストを削減し,メモリ使用量を改善するため,ZeRO++の通信と最適化戦略の集合を提案する。 20B GPTモデルでは、ZeRO++の最大384 GCDと比較して1.71倍のTFLOPS増加、最大384 GCDのスケーリング効率は0.94である。
  論文  参考訳（メタデータ） (2025-01-08T04:19:57Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Practical offloading for fine-tuning LLM on commodity GPU via learned sparse projectors [11.127604539303373]
  微調整の大型言語モデル(LLM)は大きなメモリを必要とし、1つのGPUの容量を超えることが多い。 このメモリ課題の一般的な解決策は、計算とデータをGPUからCPUにオフロードすることだ。 本稿では,コモディティハードウェア上でのLLMの微調整を可能にするオフロードフレームワーク LSP-Offload を提案する。
  論文  参考訳（メタデータ） (2024-06-14T16:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。