論文の概要: SynerDiff: Synergetic Continuous Batching for Fast and Parallel Diffusion Model Inference

• arxiv url: http://arxiv.org/abs/2605.08835v1
• Date: Sat, 09 May 2026 09:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.919348
• Title: SynerDiff: Synergetic Continuous Batching for Fast and Parallel Diffusion Model Inference
• Title（参考訳）: SynerDiff: 高速および並列拡散モデル推論のための相乗的連続バッチ
• Abstract要約: 既存の連続的な手法は、UNet-VAE中に深刻なリソース競合に悩まされる。 イントライントライントラレベルのシナジー上に構築された効率的な連続システムであるSynerDiffを提案する。
• 参考スコア（独自算出の注目度）: 8.251374398589906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expansion of Artificial Intelligence-generated content service requires diffusion model serving to simultaneously achieve high throughput and low task end-to-end (E2E) latency. However, existing continuous batching methods suffer from severe resource contention during UNet-VAE concurrency, leading to latency spikes. Furthermore, concurrent multi-task scheduling entails a trade-off between UNet throughput and VAE latency across varying scheduling strategies. To address these, we propose SynerDiff, an efficient continuous batching system built on intra-inter level synergy. At the intra-concurrency level, SynerDiff alleviates resource contention by pruning component-specific resource bottlenecks via VAE Chunking and Adaptive Skip-CFG. At the inter-concurrency level, leveraging components' differential sensitivity to scheduling granularities, a threshold-aware scheduler plans concurrent sequences and tunes intra-concurrency decisions to minimize VAE latency while maintaining UNet within high-throughput threshold. Additionally, a feedback controller dynamically adjusts this threshold based on queue loads to boost system capacity ceiling. Experimental results show that, SynerDiff improves throughput by 1.6$\times$ and decreases both average E2E and P99 tail latencies by up to 78.7\%, compared to benchmarks while guaranteeing high image fidelity.
• Abstract（参考訳）: 人工知能が生成するコンテンツサービスの拡張は、高スループットと低タスクエンドツーエンド(E2E)レイテンシを同時に達成するために、拡散モデルを提供する必要がある。 しかし、既存の連続バッチ方式は、UNet-VAE同時実行時に厳しいリソース競合に悩まされ、レイテンシーのスパイクが発生する。 さらに、同時マルチタスクスケジューリングでは、様々なスケジューリング戦略間でUNetスループットとVAEレイテンシのトレードオフが伴う。 そこで本研究では,イントライントラレベルのシナジーをベースとした効率的な連続バッチシステムであるSynerDiffを提案する。 コンカレンシーレベルにおいて、SynerDiffは、VAEチャンキングとAdaptive Skip-CFGを介してコンポーネント固有のリソースボトルネックを刈り取ることで、リソース競合を軽減する。 コンカレンシーレベルでは、コンポーネントの差分感度を利用して粒度のスケジューリングを行うため、しきい値認識スケジューラは並列シーケンスを計画し、高スループットしきい値内でUNetを維持しながら、VAEレイテンシを最小限に抑えるために、コンカレンシー内決定を調整する。 さらに、フィードバックコントローラは、キュー負荷に基づいてこのしきい値を動的に調整し、システムキャパシティ天井を向上する。 実験の結果、SynerDiffはスループットを1.6$\times$で改善し、画像の忠実さを保証しながらベンチマークと比較すると、平均的なE2EとP99テールのレイテンシを最大78.7%削減した。

関連論文リスト

• End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services [13.04369901641143]
  大規模言語モデル(LLM)を使用したエージェントAIサービスでは、低レイテンシ推論がますます求められている。 本研究では,各要求に対する送信,プリフィル,再分配レベル復号化,キー値キャッシュの進化をキャプチャするクロススロット推論モデルを開発した。 本稿では,Lyapunov最適化による長期負荷分散制約を変換するLYREO手法を提案する。
  論文  参考訳（メタデータ） (2026-09-15T13:50:54Z)
• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• Expert Streaming: Accelerating Low-Batch MoE Inference via Multi-chiplet Architecture and Dynamic Expert Trajectory Scheduling [29.998645673111536]
  Mixture-of-Expertsは、ローバッチ推論を備えたエッジAIの有望なアプローチである。 MoEのスパーシリティと動的ゲーティングシフト 分散戦略は、より微細なランタイムの粒度に向かっている。 Fully Sharded Expert Data Parallelismは、低バッチのMoE計算用に特別に設計された並列化パラダイムである。
  論文  参考訳（メタデータ） (2026-03-29T10:44:55Z)
• Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach [2.0200069355804264]
  非同期アルゴリズムは、到着時に更新を処理することで、更新スループットを向上する。 収束を低下させる勾配の安定化と、不均一なデータの下でより高速なクライアントへのバイアス。 我々は,クライアントとサーバのランダムな計算時間を共同でモデル化する汎用AsyncSGDのキューネットワークフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-03-27T09:53:53Z)
• Hierarchical Online-Scheduling for Energy-Efficient Split Inference with Progressive Transmission [23.81409473238433]
  Deep Neural Networks(DNN)によるデバイスエッジのコラボレーティブ推論は、精度、レイテンシ、エネルギー消費の基本的なトレードオフに直面している。 本稿では,ENACHI という名前の分割推論のための新しいエネルギー精度階層型最適化フレームワークを提案する。 ImageNetデータセットの実験では、ENACHIはさまざまな期限と帯域幅で最先端のベンチマークを上回っている。
  論文  参考訳（メタデータ） (2026-01-13T01:56:46Z)
• TS-DP: Reinforcement Speculative Decoding For Temporal Adaptive Diffusion Policy Acceleration [64.32072516882947]
  拡散ポリシーは、具体的制御が優れているが、高い推論遅延と計算コストに悩まされている。 時間認識強化に基づく投機的拡散政策(TS-DP)を提案する。 TS-DPは94%以上のドラフトで最大4.17倍高速な推論を実現し、推論周波数は25Hzに達した。
  論文  参考訳（メタデータ） (2025-12-13T07:53:14Z)
• FairBatching: Fairness-Aware Batch Formation for LLM Inference [2.0917668141703207]
  この研究は、この不公平の根本原因を特定する:時-時-時-(TBT)の非単調性 本稿では,タスクの充足と復号のリソース割り当てを公平に行う新しいシステムであるFair the Prioritizingを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:43:56Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• Optimizing Asynchronous Federated Learning: A Delicate Trade-Off Between Model-Parameter Staleness and Update Frequency [2.1990852305468533]
  同期フェデレーションラーニング(FL)は、ストラグラー効果によりクライアント数に悪影響を及ぼす。 本研究では,非同期FLアルゴリズムにおける設計選択の影響をよりよく理解するために,モデリングと解析に頼っている。 特に,モデルパラメータの安定化を回避し,勾配推定誤差の最小化という,非同期FLの最適化のための基本的なトレードオフを特徴付ける。
  論文  参考訳（メタデータ） (2025-02-12T08:38:13Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。