論文の概要: MTServe: Efficient Serving for Generative Recommendation Models with Hierarchical Caches

• arxiv url: http://arxiv.org/abs/2604.22881v1
• Date: Fri, 24 Apr 2026 03:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.025008
• Title: MTServe: Efficient Serving for Generative Recommendation Models with Hierarchical Caches
• Title（参考訳）: MTServe:階層型キャッシュによるジェネレーティブレコメンデーションモデルの効率的な実行
• Abstract要約: MTServeは、スケーラブルなバックアップストアとしてホストRAMを活用することにより、GPUメモリを仮想化する階層的なキャッシュ管理システムである。 パブリックデータセットとプロダクションデータセットの両方で、MTServeは最大3.1*のスピードアップを実現し、ほぼ完全なヒット比を維持している。
• 参考スコア（独自算出の注目度）: 32.40319790170123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative recommendation (GR) offers superior modeling capabilities but suffers from prohibitive inference costs due to the repeated encoding of long user histories. While cross-request Key-Value (KV) cache reuse presents a significant optimization opportunity, the massive scale of individual user states creates a storage explosion that far exceeds physical GPU limits. We propose MTServe, a hierarchical cache management system that virtualizes GPU memory by leveraging host RAM as a scalable backup store. To bridge the I/O gap between tiers, MTServe introduces a suite of system-level optimizations, including a hybrid storage layout, an asynchronous data transfer pipeline, and a locality-driven replacement policy. On both public and production datasets, MTServe delivers up to 3.1* speedup while maintaining near-perfect hit ratios (>98.5%).
• Abstract（参考訳）: ジェネレーティブレコメンデーション(GR)は優れたモデリング機能を提供するが、長いユーザ履歴の繰り返しエンコーディングによって、推論の禁止コストに悩まされる。 クロスリクエストキーバリュー(KV)キャッシュの再利用は、大きな最適化の機会を提供する一方で、個々のユーザ状態の大規模なスケールは、物理的なGPU制限をはるかに超越したストレージ爆発を引き起こします。 スケーラブルなバックアップストアとしてホストRAMを活用することにより,GPUメモリを仮想化する階層型キャッシュ管理システム MTServe を提案する。 MTServeは階層間のI/Oギャップを埋めるため、ハイブリッドストレージレイアウト、非同期データ転送パイプライン、ローカリティ駆動の代替ポリシなど、一連のシステムレベルの最適化を導入している。 パブリックデータセットとプロダクションデータセットの両方で、MTServeは最大3.1*のスピードアップを実現し、ほぼ完全なヒット率(>98.5%)を維持している。

関連論文リスト

• KVDrive: A Holistic Multi-Tier KV Cache Management System for Long-Context LLM Inference [23.683284557561112]
  我々は、GPUメモリ、ホストDRAM、SSDにまたがる総合的なマルチ層KVキャッシュ管理システムであるKVDriveを紹介する。 KVDriveは、キャッシュ配置、パイプラインスケジューリング、階層間の調整を共同でオーケストレーションするシステムの観点から、この問題に取り組む。 このシステムは精度を保ちながら最先端の作業に比べて最大1.74倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-05-18T08:54:16Z)
• Scaling State-Space Models on Multiple GPUs with Tensor Parallelism [0.24148976266903474]
  選択状態空間モデル(SSM)は、大規模言語モデルにとって急速に魅力的なバックボーンとなっている。 しかし、デプロイメントでは、その推論性能は単一のGPUのメモリ容量、帯域幅、レイテンシ制限によって制限されることが多い。 本稿では,3つの実践的技術的課題に対処する,選択的SSM推論のための通信効率のよいTP設計法を提案する。
  論文  参考訳（メタデータ） (2026-02-24T17:47:54Z)
• DynaKV: Enabling Accurate and Efficient Long-Sequence LLM Decoding on Smartphones [10.813495376006427]
  大規模言語モデル(LLM)は、効率的で効果的な長シーケンスデコードをサポートすることがますます期待されている。 DRAM容量が限られているため、スマートフォン上でのLLM復号化はキー値キャッシュ(KVCache)によって制限される。 我々はDynaKVを提案する。DynaKVはスマートフォン上での長時間デコードにおける精度と効率を両立させる最初の適応KVキャッシュ管理手法である。
  論文  参考訳（メタデータ） (2025-10-20T08:56:02Z)
• SCRec: A Scalable Computational Storage System with Statistical Sharding and Tensor-train Decomposition for Recommendation Models [17.602518628415776]
  Deep Learning Recommendation Models (DLRMs)は、ソーシャルネットワークやビデオストリーミングといったWebアプリケーション間でパーソナライズされたコンテンツを配信する上で、重要な役割を果たす。 性能の改善により、DLRMsのパラメータサイズはテラバイト(TB)に拡大し、メモリ帯域幅の要求はTB/sを超えるようになった。 TBスケールの産業用DLRMを扱えるスケーラブルな計算ストレージレコメンデーションシステムであるSCRecを提案する。
  論文  参考訳（メタデータ） (2025-04-01T08:12:45Z)
• QuantCache: Adaptive Importance-Guided Quantization with Hierarchical Latent and Layer Caching for Video Generation [84.91431271257437]
  Diffusion Transformers (DiTs) はビデオ生成において支配的なアーキテクチャとして登場した。 DiTには、計算コストやメモリコストの増大など、大きな欠点がある。 我々は,新しいトレーニングフリー推論アクセラレーションフレームワークQuantCacheを提案する。
  論文  参考訳（メタデータ） (2025-03-09T10:31:51Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Efficient Memory Management for Large Language Model Serving with PagedAttention [44.70922552274376]
  大規模言語モデル(LLM)の高スループットサービスには,一度に十分な数の要求が要求される。 既存のシステムでは、各要求のキー値キャッシュ(KVキャッシュ)メモリが巨大で、成長し、動的に縮小するため、苦労している。 本稿では,オペレーティングシステムにおける従来の仮想メモリとページング技術にヒントを得たアテンションアルゴリズムであるPagedAttentionを提案する。
  論文  参考訳（メタデータ） (2023-09-12T12:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。