論文の概要: Sangam: Efficiently Serving Diffusion LLMs with the AR Stack

• arxiv url: http://arxiv.org/abs/2607.04206v1
• Date: Sun, 05 Jul 2026 09:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.86658
• Title: Sangam: Efficiently Serving Diffusion LLMs with the AR Stack
• Title（参考訳）: Sangam: ARスタックによる拡散LDMの効率的な実行
• Abstract要約: 拡散言語モデル(dLLMs)は、マスキングされた応答を反復的に認知することでテキストを生成する。 キャッシュされたdLLM推論のためのサーブシステムであるSangamについて述べる。
• 参考スコア（独自算出の注目度）: 17.99098877266759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (dLLMs) generate text by iteratively denoising a masked response and can commit multiple output positions per model invocation. Their bidirectional attention prevents exact autoregressive-style KV caching, since committing one position shifts the KV activations of all others. Approximate caching techniques such as Fast-dLLM and dKV-Cache refresh KV activations repeatedly and reuse them across intervening decodes, inducing a repeated prefill/decode structure. This makes AR serving mechanisms relevant to dLLMs, but not directly applicable. dLLM decodes are block-sized rather than token-sized, prefills recur, and bidirectional attention precludes the chunked prefill mechanism used for stall-free colocated serving. We present Sangam, a serving system for cached dLLM inference. Sangam introduces a deficit token-budget scheduler that admits in-flight decodes first, admits whole indivisible prefills only when the accumulated token budget allows, and carries unused budget forward. This achieves amortized stall-free scheduling. Disaggregated serving avoids prefill-decode interference but suffers from prefill/decode resource partitioning problem. Sangam adopts a hybrid serving strategy, overflowing prefills onto decode workers to relieve prefill under-provisioning, and uses the same deficit-budget scheduler to protect those workers' decodes from the overflow. We show that like AR serving, dLLM serving design space is governed by prefill-decode interference and prefill/decode partitioning. Colocated serving is most effective on decode-heavy workloads, cutting mean latency by 9-20% over hybrid execution on LLaDA-8B ShareGPT; while hybrid execution is most effective on prefill-heavy workloads, cutting mean latency by 8-20% over colocated execution on Dream-7B arXiv. Sangam is available at https://github.com/UT-InfraAI/sangam.
• Abstract（参考訳）: 拡散言語モデル(dLLMs)は、マスキングされた応答を反復的に認知することでテキストを生成し、モデル呼び出し毎に複数の出力位置をコミットすることができる。 彼らの双方向の注意は、1つの位置をコミットすると他のすべてのKVアクティベーションがシフトするため、正確に自己回帰的なKVキャッシングを防ぐ。 Fast-dLLMやdKV-CacheのリフレッシュKVアクティベートといった近似キャッシュ技術は、インターバルデコード間で繰り返し再利用され、繰り返しプリフィル/デコード構造が引き起こされる。 これにより、ARサービス機構はdLLMと関係があるが、直接適用できない。 dLLMデコードはトークンサイズではなくブロックサイズであり、プリフィルが再帰する。 キャッシュされたdLLM推論のためのサーブシステムであるSangamについて述べる。 サンガムは、最初に飛行中のデコードを認め、累積トークン予算が許す場合にのみ、すべての分割不可能なプリフィルを認め、未使用の予算を前倒しする欠陥トークン予算スケジューラを導入している。 これにより、アモータイズされたストールフリースケジューリングが実現される。 Disaggregated Serviceはプリフィル/デコード干渉を回避するが、プリフィル/デコードリソース分割の問題に悩まされる。 サンガムはハイブリッドサービス戦略を採用し、デコード労働者にプレフィルをオーバーフローさせ、オーバーフローから労働者のデコードを保護するために同じ赤字予算スケジューラを使用している。 設計空間におけるARサービスと同様に、dLLMはプリフィル/デコード干渉とプリフィル/デコードパーティショニングによって制御されていることを示す。 Colocated Serviceは、LLaDA-8B ShareGPT上でのハイブリッド実行よりも平均遅延を9-20%削減し、Deam-7B arXiv上でのコロケーション実行よりも平均レイテンシを8-20%削減する。 Sangamはhttps://github.com/UT-InfraAI/sangam.comで入手できる。

関連論文リスト

• PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
  本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。 Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。 5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
  論文  参考訳（メタデータ） (2026-06-25T06:56:43Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• Requests of a Feather Must Flock Together: Batch Size vs. Prefix Homogeneity in LLM Inference [2.752817022620644]
  大規模言語モデルにおける自動回帰トークン生成には、すべての前のトークンのキーと値テンソル(KVキャッシュ)を"到着"する必要がある。 以前の作業は、複数のリクエストを合わせて、このデコードプロセスの効率を改善することを目的としていた。 高速なプレフィックス検出と効率的な要求選択を可能にする軽量なデータ構造であるChunked Hash Tree(CHT)を紹介する。
  論文  参考訳（メタデータ） (2026-05-07T11:34:10Z)
• VidLaDA: Bidirectional Diffusion Large Language Models for Efficient Video Understanding [52.69880888587866]
  現在のビデオ大言語モデル(ビデオLLM)は、典型的にはエンコーダビジョンを介してフレームを符号化し、自己回帰(AR)LLMを使用して理解と生成を行う。 本稿では,言語モデル(DLM)に基づく拡散ビデオLLMであるVidLaDAを提案する。 実験によると、VidLaDAは最先端のARベースラインと競合し、DLMベースラインを上回り、MARS-Cacheは精度を損なうことなく12倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-25T15:02:01Z)
• Joint Encoding of KV-Cache Blocks for Scalable LLM Serving [3.3230675313521716]
  既存のKV-cache圧縮手法は剛性に依存し、テンソルレイアウトを乱したり、特別な計算を必要とする。 KV-cacheブロックの連成符号化を提案し、要求と入力チャンクに類似したブロックを融合して共有表現を生成する。 これにより、KV-cacheメモリのボトルネックが軽減され、特別なハードウェアを使わずに高コンカレンシー機能をサポートする。
  論文  参考訳（メタデータ） (2026-01-06T14:50:58Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Efficiently Serving Large Multimodal Models Using EPD Disaggregation [24.05805398635414]
  Encode-Prefill-Decode Disaggregation(エンコード・プリフィル・デコード・デコード・デアグリゲーション)という,エンコード・プリフィル・デコード・デコード・デアグリゲーション(Encode-Prefill-Decode Disaggregation)というフレームワークを紹介した。 エンコーディングとプリフィルをバンドルする現在のシステムとは異なり、私たちのアプローチはこれらのステップを分離し、新たな機会と最適化を解放します。 一般的なLMMを用いた実験では、メモリ効率(ピークメモリ使用率の最大15倍)、バッチサイズ(最大22倍)、リクエストあたり10倍のイメージ、および2.2倍のKVキャッシュが大幅に向上した。
  論文  参考訳（メタデータ） (2024-12-25T10:11:31Z)
• BatchLLM: Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching [2.392066774757727]
  大規模言語モデル(LLM)は、幅広い情報処理や管理タスクにおいて、ますます重要な役割を担っている。 これらのタスクは通常プレフィックス共有の特徴を示し、異なるプロンプト入力は共通プレフィックスを部分的に示すことができる。 既存のソリューションでは、リクエスト間の共通プレフィックスのKVコンテキストを再利用するために、LRUベースのキャッシュを使用している。 上記の問題に対処するため,BatchLLMを提案する。
  論文  参考訳（メタデータ） (2024-11-29T05:57:37Z)
• POD-Attention: Unlocking Full Prefill-Decode Overlap for Faster LLM Inference [9.164093249308419]
  我々は、ハイブリッドバッチの注意を効率的に計算する最初のGPUカーネルであるPOD-Attentionを紹介する。 POD-Attentionは、GPUのリソースを慎重に割り当てることで、計算帯域とメモリ帯域の両方の利用を最大化することを目的としている。
  論文  参考訳（メタデータ） (2024-10-23T17:06:56Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。