論文の概要: DPS: Dual-Mode Precision LLM Serving with Semi-Unified Memory

• arxiv url: http://arxiv.org/abs/2609.34380v1
• Date: Mon, 28 Sep 2026 05:55:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:19:46.044464
• Title: DPS: Dual-Mode Precision LLM Serving with Semi-Unified Memory
• Title（参考訳）: DPS: 半統一メモリを用いたデュアルモード精度LDM
• Abstract要約: 既存のLLMサービスシステムは、実行中に固定されたモデルウェイトメモリを扱う。 マルチ精度モデル表現に関する最近の研究は、単一のストアドモデルが完全な精度と低い精度の実行の両方をサポートできるようにすることで、この設計に挑戦している。 本稿では、重み記憶を弾性資源に変換する2重精度LDMサービスシステムDPSを提案する。
• 参考スコア（独自算出の注目度）: 0.9444932939944471
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing LLM serving systems virtualize and optimize KV-cache memory, but treat model-weight memory as fixed throughout execution. Recent work on multi-precision model representations challenges this design by allowing a single stored model to support both full-accuracy and lower-precision execution, making the effective weight footprint runtime-dependent. This creates an opportunity under bursty workloads, where temporary spikes in KV-cache demand often determine throughput and SLO compliance. We present DPS, a dual-precision LLM serving system that turns weight memory into an elastic resource: under normal load, DPS serves the full-accuracy model; under KV pressure, it switches to a nested, lower-precision variant and repurposes unused weight memory for KV cache blocks. DPS is built on Semi-Unified Memory (SUM), which partitions the weight region into a persistent lower-precision sub-region and a shared region that alternates between residual weight tensors and KV-cache blocks, preserving compatibility with paged KV-cache management. We implement DPS on top of vLLM and evaluate it across both dense and MoE models and various production workload traces. Our results show that \sysname improves sustained throughput by $2.1$--$3.3\times$ and effective pass@1 by up to $+41$\,pp over Static FP16, while preserving FP16-class accuracy.
• Abstract（参考訳）: 既存のLLMサービスシステムはKVキャッシュメモリを仮想化し最適化するが、モデルウェイトメモリを実行中は固定として扱う。 マルチ精度モデル表現に関する最近の研究は、単一のストアドモデルが完全な精度と低い精度の実行の両方をサポートできるようにし、効果的重量フットプリントを実行時依存にすることで、この設計に挑戦している。 これにより、KVキャッシュ要求の一時的なスパイクによってスループットとSLO準拠が決定される、バースト的なワークロード下での機会が生まれる。 重みメモリを弾力性のあるリソースに変換するデュアル精度LLMサービスシステムであるDPSについて述べる。通常の負荷下では、DPSは完全精度モデルを提供し、KV圧力下では、ネストされた低精度の変種に切り替え、KVキャッシュブロックに未使用の重みメモリを再利用する。 DPSはSemi-Unified Memory (SUM)上に構築されており、重み領域を永続的な低精度サブリージョンと、残留重みテンソルとKV-cacheブロックを交互に切り替える共有領域に分割し、ページ付きKV-cache管理との互換性を保つ。 我々は、vLLM上にDPSを実装し、それを高密度およびMoEモデルと各種生産負荷トレースの両方で評価する。 以上の結果から,<sysname</sysnameは持続スループットを2.1$--3.3\times$と有効パス@1で最大$+41$\,ppで改善し,FP16クラスの精度を維持した。

関連論文リスト

• PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization [12.565778051354554]
  Mixture-of-Experts (MoE)は、大規模言語モデル(LLM)の一般的なクラスである。 MoEは、モデルウェイトにおけるGPUメモリ要件と成長するKVキャッシュとの間に緊張関係を示すことが多い。 実行時のMoEモデルの重みを動的に定量化するMOE LLMの新しい管理手法であるPagedWeightを提案する。
  論文  参考訳（メタデータ） (2026-07-17T17:58:29Z)
• Tangram: Unlocking Non-Uniform KV Cache for Efficient Multi-turn LLM Serving [12.478756445519409]
  Tangramは、一様でないKVキャッシュを実用的にするために設計された新しいサービスシステムである。 Tangramは既存のベースラインに比べてスループットを最大2.6倍改善する。
  論文  参考訳（メタデータ） (2026-06-04T15:41:27Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• Runtime Adaptive Pruning for LLM Inference [7.5252252615137225]
  我々は、強化学習(RL)によって駆動される弾力的な刈り取りフレームワークであるRAPを提案する。 RAPは、実際の実行におけるモデルパラメータとKV-cacheの進化率を追跡する。 RAPは最先端のベースラインよりも優れており、モデル重量とKVcacheを同時に検討するのは初めてである。
  論文  参考訳（メタデータ） (2025-05-22T06:12:42Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。