論文の概要: EAServe: Encode-Aware Disaggregated Serving for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2609.31551v1
• Date: Fri, 25 Sep 2026 17:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.516211
• Title: EAServe: Encode-Aware Disaggregated Serving for Multimodal Large Language Models
• Title（参考訳）: EAServe: マルチモーダルな大規模言語モデルのためのエンコードアウェア・デアグリゲーション・サービング
• Abstract要約: Encodeは、画像、ビデオ、オーディオを、言語モデルで使用可能な埋め込みに変換する。 既存のフレームワークは部分的な回答しか提供していない: テキストのみのPDシステムはEncodeを欠いている。 我々はEncodeをEPDパイプラインの制御点として再配置し、3つの密結合次元を露呈した。 EAServeはNVIDIA DynamoとvLLMよりも最大4.3xと1.7倍高い出力を提供する。
• 参考スコア（独自算出の注目度）: 15.468338613327886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Disaggregating the two stages, Prefill and Decode, onto separate GPU pools is now a standard optimization for (text-only) LLM serving. However, multimodal LLMs (MLLMs), which add a third phase, Encode, pose new challenges for resource allocation. Encode turns images, video, or audio into embeddings that the language model can consume, yielding a three-stage Encode-Prefill-Decode (EPD) pipeline. Existing frameworks offer only partial answers: text-only PD systems lack Encode, while EPD frameworks expose it as a separate service without regulating downstream request flow. The pipeline also carries a structural resource imbalance: every request enters through Encode before downstream work can begin, yet per-request execution leaves the encode GPU severely underutilized even at high loads, starving the downstream Prefill and Decode workers. Addressing this, we reposition Encode as the control point of the EPD pipeline, exposing three tightly coupled dimensions: when work enters downstream, where prefill executes, and how the GPU is shared. We instantiate this in EAServe across two co-designed layers. Its runtime manages load-adaptive micro-batching, rate-controlled partial offload to a co-resident prefill worker, and dynamic SM partitioning for predictable co-location. The configuration layer, Hybrid Auto Selection (HAS), navigates the joint space of GPU allocation, encode batch size, and offload ratio by pruning unbalanced allocations with per-stage capacity profiling and refining the remainder through TPE-based Bayesian optimization. Evaluated on three MLLM architectures spanning image, video, and audio, EAServe delivers up to 4.3x and 1.7x higher goodput than NVIDIA Dynamo and vLLM, respectively, under identical SLO constraints, sustains more balanced and higher GPU utilization across the EPD pipeline, and reaches near-optimal configurations faster than baseline search methods.
• Abstract（参考訳）: PrefillとDecodeの2つのステージを別々のGPUプールに分離することは、(テキストのみの)LLMサービスに対する標準的な最適化になる。 しかし、第3フェーズであるEncodeを付加したマルチモーダルLSM(MLLM)は、リソース割り当てに新たな課題を提起する。 Encodeは、イメージ、ビデオ、オーディオを、言語モデルが使用可能な埋め込みに変換することで、3段階のEncode-Prefill-Decode(EPD)パイプラインを生成する。 既存のフレームワークは部分的な回答しか提供していない: テキストのみのPDシステムはEncodeを欠いているが、EDDフレームワークは下流のリクエストフローを規制することなく、それを別のサービスとして公開している。 パイプラインには構造的なリソースの不均衡も伴っている – ダウンストリームの作業が開始される前に,すべてのリクエストがEncodeを通じて入力される。 これに対応するために、EncodeをEPDパイプラインの制御ポイントとして再配置し、3つの密結合された次元を公開します。 EAServeでは、2つの共同設計のレイヤでこれをインスタンス化します。 そのランタイムは、負荷適応型マイクロバッチ、保率制御された部分的なオフロードをコレジデントプレフィルワーカーに管理し、予測可能なコロケーションのための動的SMパーティショニングを行う。 構成層であるHybrid Auto Selection (HAS)は、GPU割り当てのジョイントスペースをナビゲートし、バッチサイズをエンコードし、非バランスなアロケーションをステージ単位のキャパシティプロファイリングでプルーニングし、残りの部分はTPEベースのベイズ最適化によって精製する。 EAServeは、画像、ビデオ、オーディオにまたがる3つのMLLMアーキテクチャに基づいて、NVIDIA DynamoとvLLMよりも最大4.3倍、最大1.7倍高い出力を提供する。

関連論文リスト

• StreamServe: Adaptive Speculative Flows for Low-Latency Disaggregated LLM Serving [2.1072136327189672]
  StreamServeは、非集約のプリフィルデコードサービスアーキテクチャである。 StreamServeはテンソル並列vLLMベースラインと比較してレイテンシを11～18倍削減する。 スループットは、要約タスクで毎秒2235トークンに達する。
  論文  参考訳（メタデータ） (2026-02-11T21:03:47Z)
• Enabling Disaggregated Multi-Stage MLLM Inference via GPU-Internal Scheduling and Resource Sharing [16.063514680699576]
  MLLM(Multimodal large language model)は、3段階のパイプラインを通して視覚的理解を拡張する。 マルチモーダル前処理、特にビデオデコードがタイム・ツー・ファースト・トーケン(TTFT)を支配している 我々は、エンドツーエンドのMLLMパイプラインを共同で最適化する2つの補完設計であるFlashCodecとUnifiedServeを紹介する。
  論文  参考訳（メタデータ） (2025-12-19T13:40:13Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• xLLM Technical Report [57.13120905321185]
  我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。 xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。 xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
  論文  参考訳（メタデータ） (2025-10-16T13:53:47Z)
• Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
  エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。 PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
  論文  参考訳（メタデータ） (2025-07-09T07:27:18Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。