論文の概要: semi-PD: Towards Efficient LLM Serving via Phase-Wise Disaggregated Computation and Unified Storage
- arxiv url: http://arxiv.org/abs/2504.19867v1
- Date: Mon, 28 Apr 2025 15:00:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.486305
- Title: semi-PD: Towards Efficient LLM Serving via Phase-Wise Disaggregated Computation and Unified Storage
- Title（参考訳）: semi-PD: Phase-Wise Disaggregated Computation と Unified Storage による効率的な LLM の実現に向けて
- Authors: Ke Hong, Lufang Chen, Zhong Wang, Xiuhong Li, Qiuli Mao, Jianping Ma, Chao Xiong, Guanyu Wu, Buhe Han, Guohao Dai, Yun Liang, Yu Wang,
- Abstract要約: 本稿では,分散計算と統一ストレージを特徴とする,新たな大規模言語モデル (LLM) サービスシステムであるセミPDを提案する。
最先端システムと比較して、セミPDはより高い要求レートでレイテンシを低く保ち、リクエスト毎の平均エンドツーエンドレイテンシを1.27-2.58倍削減する。
- 参考スコア（独自算出の注目度）: 6.805644270436825
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing large language model (LLM) serving systems fall into two categories: 1) a unified system where prefill phase and decode phase are co-located on the same GPU, sharing the unified computational resource and storage, and 2) a disaggregated system where the two phases are disaggregated to different GPUs. The design of the disaggregated system addresses the latency interference and sophisticated scheduling issues in the unified system but leads to storage challenges including 1) replicated weights for both phases that prevent flexible deployment, 2) KV cache transfer overhead between the two phases, 3) storage imbalance that causes substantial wasted space of the GPU capacity, and 4) suboptimal resource adjustment arising from the difficulties in migrating KV cache. Such storage inefficiency delivers poor serving performance under high request rates. In this paper, we identify that the advantage of the disaggregated system lies in the disaggregated computation, i.e., partitioning the computational resource to enable the asynchronous computation of two phases. Thus, we propose a novel LLM serving system, semi-PD, characterized by disaggregated computation and unified storage. In semi-PD, we introduce a computation resource controller to achieve disaggregated computation at the streaming multi-processor (SM) level, and a unified memory manager to manage the asynchronous memory access from both phases. semi-PD has a low-overhead resource adjustment mechanism between the two phases, and a service-level objective (SLO) aware dynamic partitioning algorithm to optimize the SLO attainment. Compared to state-of-the-art systems, semi-PD maintains lower latency at higher request rates, reducing the average end-to-end latency per request by 1.27-2.58x on DeepSeek series models, and serves 1.55-1.72x more requests adhering to latency constraints on Llama series models.
- Abstract（参考訳）: 既存の大規模言語モデル(LLM)サービスシステムは、以下の2つのカテゴリに分類される。
1)プリフィルフェーズとデコードフェーズを同一のGPU上に同時配置し、統一された計算リソースとストレージを共有する統一システム。
2) 2つの位相を異なるGPUに分解する分解システム。
分散化システムの設計は、統合システムにおける遅延干渉と高度なスケジューリングの問題に対処するが、ストレージの課題に繋がる。
1) フレキシブルな展開を防止するため、両方のフェーズで重みを再現する。
2)2相間のKVキャッシュ転送オーバーヘッド
3)GPU容量の相当な無駄なスペースを引き起こすストレージ不均衡、及び
4) KVキャッシュの移行が困難であったため, 資源調整が困難であった。
このようなストレージの非効率さは、高い要求率でサービス性能を低下させる。
本稿では, 分散化システムの利点は, 分散化計算, すなわち, 2相の非同期計算を可能にするために, 計算資源を分割することにある。
そこで本研究では,分散計算と統合ストレージを特徴とする,新たなLDMサービスシステムであるセミPDを提案する。
半PDでは,ストリーミングマルチプロセッサ(SM)レベルでの分散計算を実現する計算資源コントローラと,両フェーズ間の非同期メモリアクセスを管理する統一メモリマネージャを導入する。
セミPDは2つのフェーズの間に低オーバーヘッドリソース調整機構を持ち、SLO達成を最適化するためにサービスレベル目標(SLO)を意識した動的パーティショニングアルゴリズムを備えている。
最先端システムと比較して、セミPDはより高い要求レートでレイテンシを低く保ち、DeepSeekシリーズモデルではリクエスト毎の平均エンドツーエンドのレイテンシを1.27-2.58倍削減し、Llamaシリーズモデルでは遅延制約に固執する1.55-1.72倍のリクエストを処理している。
関連論文リスト
- Apt-Serve: Adaptive Request Scheduling on Hybrid Cache for Scalable LLM Inference Serving [22.66354939370058]
Apt-Serveは、大規模言語モデル(LLM)推論サービスシステムにおける効果的なスループットを高めるために設計されたフレームワークである。
新たなハイブリッドキャッシュスキームでは、KVキャッシュとメモリ効率の高い隠れキャッシュを組み合わせることで、再利用可能な入力隠れ状態ベクタを実現し、バッチサイズを大きくし、要求を改善する。
Apt-Serveは,最先端の推論サービスシステムと比較して,スループットが最大8.8倍向上することを示す。
論文 参考訳（メタデータ） (2025-04-10T06:51:23Z) - Injecting Adrenaline into LLM Serving: Boosting Resource Utilization and Throughput via Attention Disaggregation [23.130886760027586]
大規模言語モデル(LLM)サービスシステムでは、各要求の実行は、計算集約型プリフィルフェーズとメモリ集約型デコードフェーズの2つのフェーズで構成される。
本稿では,資源利用と性能の向上を目的としたアダプティブ・デアグリゲーション・オフロード機構であるアドレナリンを提案する。
実験の結果,アドレナリンのメモリ容量は2.28倍,メモリ帯域幅は2.07倍に向上した。
論文 参考訳（メタデータ） (2025-03-26T13:48:35Z) - Joint Transmit and Pinching Beamforming for Pinching Antenna Systems (PASS): Optimization-Based or Learning-Based? [89.05848771674773]
MISO (Multiple-input Single-output) フレームワークを提案する。
それは複数の導波路で構成されており、多数の低コストアンテナ(PA)を備えている。
PAの位置は、大規模パスと空間の両方にまたがるように再構成することができる。
論文 参考訳（メタデータ） (2025-02-12T18:54:10Z) - MAS-Attention: Memory-Aware Stream Processing for Attention Acceleration on Resource-Constrained Edge Devices [24.1144641404561]
本稿では,メモリ制約付きエッジアクセラレータ上での正確なアテンション推定高速化手法を提案する。
エッジコンピューティングのシナリオではFLAT (State-of-the-art attention fusion Method) と比較して,2.75倍のスピードアップと54%のエネルギー消費削減が見られた。
論文 参考訳（メタデータ） (2024-11-20T19:44:26Z) - Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。
本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。
提案手法の有効性を数値解析により検証した。
論文 参考訳（メタデータ） (2024-11-04T17:48:02Z) - POD-Attention: Unlocking Full Prefill-Decode Overlap for Faster LLM Inference [9.164093249308419]
我々は、ハイブリッドバッチの注意を効率的に計算する最初のGPUカーネルであるPOD-Attentionを紹介する。
POD-Attentionは、GPUのリソースを慎重に割り当てることで、計算帯域とメモリ帯域の両方の利用を最大化することを目的としている。
論文 参考訳（メタデータ） (2024-10-23T17:06:56Z) - Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。
PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。
我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文 参考訳（メタデータ） (2024-10-17T11:46:33Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。
Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
論文 参考訳（メタデータ） (2024-10-04T01:11:09Z) - Joint Service Caching, Communication and Computing Resource Allocation in Collaborative MEC Systems: A DRL-based Two-timescale Approach [15.16859210403316]
端末の厳格なQuality of Service(QoS)要件を満たすため、Multi Access Edge Computing(MEC)システムに課題が課されている。
エッジサーバ間のリソース共有を容易にする協調的なフレームワークを提案する。
提案アルゴリズムは,平均スイッチングおよびキャッシュコストにおいて,ベースラインアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-19T00:27:49Z) - Federated Learning for Energy-limited Wireless Networks: A Partial Model
Aggregation Approach [79.59560136273917]
デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである
まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。
提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
論文 参考訳（メタデータ） (2022-04-20T19:09:52Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。