論文の概要: DiLaServe: High SLO Attainment Serving for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.29094v1
• Date: Sat, 27 Jun 2026 21:21:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.785813
• Title: DiLaServe: High SLO Attainment Serving for Diffusion Language Models
• Title（参考訳）: DiLaServe: 拡散言語モデルのための高いSLO達成
• Abstract要約: 拡散言語モデル(DLM)は、競合品質を維持しながら高い推論スループットを提供する。 本稿では,DLMのためのクラスタレベルのサービスシステムであるDiLaServeについて述べる。 複数のベンチマークと実世界のトレースで、DiLaServeはSLO達成率を最大56.6ポイント改善し、エンドツーエンドの要求遅延を最大46%削減した。
• 参考スコア（独自算出の注目度）: 1.840765166456233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) have recently emerged as a promising alternative to conventional autoregressive language models. By generating multiple tokens in parallel during each denoising step, they offer higher inference throughput while maintaining competitive quality. However, realizing these throughput gains while meeting latency SLOs in a serving system requires addressing challenges introduced by DLMs' unique characteristics. These include navigating the speed-quality tradeoff created by confidence-based denoising, choosing appropriate parallelization levels across model instances under fluctuating load, and coordinating approximate KV caching mechanisms that introduce non-uniform per-step costs. To address these challenges, we present DiLaServe, a cluster-level serving system for DLMs. DiLaServe enables deadline-aware scheduling and adaptive load control through confidence-threshold adjustment, and dynamically reconfigures the cluster by solving a quality-aware optimization problem, while explicitly modeling the step-level heterogeneity introduced by approximate KV caching. Across multiple benchmarks and real-world traces, DiLaServe improves SLO attainment by up to 56.6 percentage points and reduces end-to-end request latency by up to 46\% while incurring less than 1\% accuracy drop.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、最近、従来の自己回帰言語モデルに代わる有望な選択肢として登場した。 各デノベーションステップ中に複数のトークンを並列に生成することにより、競合品質を維持しながら、より高い推論スループットを提供する。 しかし、サービスシステムにおける待ち時間SLOの一致中にスループットの向上を実現するには、DLMのユニークな特徴によってもたらされる課題に対処する必要がある。 これには、信頼性ベースのデノベーションによって生成されたスピードクオリティのトレードオフのナビゲート、負荷変動によるモデルインスタンス間の適切な並列化レベルの選択、ステップ毎に一様でないコストを導入する近似KVキャッシュメカニズムの調整などが含まれる。 これらの課題に対処するため,DLMのためのクラスタレベルのサービスシステムであるDiLaServeを提案する。 DiLaServeは信頼性閾値調整によるデッドラインアウェアスケジューリングと適応負荷制御を実現し、近似KVキャッシングによって導入されたステップレベルの不均一性を明示的にモデル化しつつ、品質アウェア最適化問題を解決することでクラスタを動的に再構成する。 複数のベンチマークと実世界のトレースで、DiLaServeはSLO達成率を最大56.6ポイント改善し、エンドツーエンドの要求遅延を最大46\%削減し、1\%の精度低下を招いた。

関連論文リスト

• End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services [13.04369901641143]
  大規模言語モデル(LLM)を使用したエージェントAIサービスでは、低レイテンシ推論がますます求められている。 本研究では,各要求に対する送信,プリフィル,再分配レベル復号化,キー値キャッシュの進化をキャプチャするクロススロット推論モデルを開発した。 本稿では,Lyapunov最適化による長期負荷分散制約を変換するLYREO手法を提案する。
  論文  参考訳（メタデータ） (2026-09-15T13:50:54Z)
• Diffusion Language Models for Mobile Edge Agentic AI: Foundations, Applications, and Challenges [58.887152635127165]
  拡散言語モデル(DLM)は、モバイルエッジエージェント人工知能(AI)の非自己回帰的な代替手段を提供する DLMは複数の不確実なトークンを並列に更新し、生成プロセスを通して双方向のコンテキストを利用することができる。 この調査は、DLMの基礎をレビューし、レイテンシ、メモリ、エネルギ、帯域幅、プライバシ、信頼性制約の下でのエッジ設定に対する適合性を分析します。
  論文  参考訳（メタデータ） (2026-09-04T06:16:49Z)
• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• AsynDBT: Asynchronous Distributed Bilevel Tuning for efficient In-Context Learning with Large Language Models [4.4866154758274375]
  In-context Learning (ICL) は、LLMが入力内で提供される例を使って新しいタスクに適応できる有望なパラダイムとして登場した。 ICLを組み込んだ以前のFLアプローチは、重度のストラグラー問題と、異種非同一データに関連する課題に悩まされてきた。 本稿では,LLMからのフィードバックに基づいて,文脈内学習サンプルの最適化とフラグメントのプロンプトを行う非同期分散バイレベルチューニング(AsynDBT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-06T13:07:49Z)
• CALM: A Self-Adaptive Orchestration Approach for QoS-Aware Routing in Small Language Model based Systems [0.6999740786886536]
  CALMはMAPE-Kに基づく自己適応型オーケストレーション機構である。 遅延を約40%削減し、エネルギー消費を50%削減する。 評価の結果,CALMは遅延を約40%減らし,エネルギー消費を50%減らした。
  論文  参考訳（メタデータ） (2026-02-03T15:20:14Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• Adaptive Request Scheduling for CodeLLM Serving with SLA Guarantees [6.110847503516972]
  既存の大規模言語モデル(CodeMs)は、現代のソフトウェア開発にますます統合されています。 しかし、セルフホスト環境は、リソース制約のあるサービス環境において重要な課題である。 要求毎のSLAの実現可能性と意思決定をリアルタイムで予測する動的戦略であるSABERを提案する。 以上の結果から,SLAを意識した適応スケジューリングが,堅牢で高性能なCodeLL提供の鍵となることを示す。
  論文  参考訳（メタデータ） (2025-06-24T14:44:33Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding [12.106234303559571]
  本稿では,SLO-customized Speculative Decodingによる効率的なマルチSLOサービスを支援するために設計された,最初のサービスシステムであるAdaServeを紹介する。 AdaServeは制約付き最適化問題として機能するマルチSLOを定式化し、ハードウェア対応アルゴリズムを導入した。 システムスループットを最大化しつつ、復号速度のきめ細かい制御を可能にする推測-検証パイプラインを備えている。
  論文  参考訳（メタデータ） (2025-01-21T14:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。