論文の概要: One Pool, Two Caches: Adaptive HBM Partitioning for Accelerating Generative Recommender Serving

• arxiv url: http://arxiv.org/abs/2605.04450v1
• Date: Wed, 06 May 2026 03:25:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.624221
• Title: One Pool, Two Caches: Adaptive HBM Partitioning for Accelerating Generative Recommender Serving
• Title（参考訳）: 1つのプール、2つのキャッシュ: ジェネレーションレコメンダの高速化のためのアダプティブHBMパーティショニング
• Abstract要約: Generativeer(GR)推論では、GPUメモリに制限のある直接競合するホットキャッシュ(EMB)とKVキャッシュが組み込まれている。 既存のシステムはそれらを独立して最適化し、最適のEMB-KV割り当て比がワークロードのレシエーションで最大0.35シフトできるのを見落としている。 本稿では,実行時のアロケーションとリクエストルーティングを共同で管理するHELMを提案する。
• 参考スコア（独自算出の注目度）: 8.943703669863291
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Recommender (GR) inference places embedding hot caches (EMB) and KV caches in direct competition for limited GPU HBM: allocating more memory to one improves its efficiency but degrades the other. Existing systems optimize them in isolation, overlooking that the optimal EMB-KV allocation ratio can shift by up to 0.35 across workload regimes, leaving 20-30\% latency improvement unrealized. While online reallocation is required to close this gap, naive approaches introduce H2D refill traffic on the critical path, causing P99 SLO violations. To address this, we present HELM, which jointly manages HBM allocation and request routing at runtime through two key components: (1) Adaptive Memory Allocation, a three-layer PPO-based controller (frozen base policy, online residual adapter, and burst-aware recovery controller) that achieves $32\,\mathrm{μs}$ decision latency while staying within 0.024-0.029 of the offline-optimal ratio; and (2) EMB-KV-Aware Scheduling, which routes requests by jointly considering KV residency, embedding locality, and node load to avoid routing inefficiencies under heterogeneous allocations. Evaluations on three production-scale datasets over a 32-node A100 cluster show that HELM reduces P99 latency by 24-38\% over the best static policy and achieves 93.5-99.6\% SLO satisfaction across Steady, Trend, and Burst workloads, significantly outperforming state-of-the-art baselines without sacrificing throughput.
• Abstract（参考訳）: Generative Recommender (GR)推論では、組み込みホットキャッシュ(EMB)とKVキャッシュがGPU HBMと直接競合する。 既存のシステムはそれらを分離して最適化し、最適なEMB-KV割り当て比がワークロードのレシエーションで最大0.35にシフトし、20～30倍のレイテンシ改善が実現されないままであるのを見落としている。 このギャップを埋めるためには、オンラインのリロケーションが必要であるが、単純アプローチではクリティカルパスにH2Dリフィルトラフィックを導入し、P99 SLO違反を引き起こしている。 そこで本研究では,HBMアロケーションと要求ルーティングを2つのキーコンポーネントを通じて共同で管理するHELMについて述べる。(1) 適応メモリアロケーション,3層PPOベースのコントローラ(フリーズベースポリシ,オンラインリザーブアダプタ,バーストアウェアリカバリコントローラ)は,オフライン-最適比0.024-0.029 に留まることなく,32\,\mathrm{μs}$決定レイテンシを実現する。 32ノードのA100クラスタ上での3つのプロダクションスケールデータセットの評価によると、HELMは最高の静的ポリシでP99レイテンシを24～38パーセント削減し、Steady、Trend、Burstワークロード全体で93.5～99.6パーセントのSLO満足度を実現し、スループットを犠牲にすることなく、最先端のベースラインを大幅に上回っている。

関連論文リスト

• YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition [78.52944812151664]
  大きな言語モデル(LLM)は、大きな金融革新をもたらすが、そのデプロイメントはKVキャッシュメモリのオーバーヘッドによってボトルネックになる。 我々は,Huawei Ascendエコシステム上に構築された包括的な構造遷移とトレーニングパイプラインによって強化された,高効率な金融LLMであるYouZhi-LLMを提案する。
  論文  参考訳（メタデータ） (2026-06-04T08:44:37Z)
• Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving [18.829614918483255]
  AsymCacheは、LLM(Large Language Model)推論のための計算対応のKVキャッシュ管理システムである。 AsymCacheはTTFTを最大1.90-2.03x、TPOT(time-per-latency-token)を1.62-1.71xまで下げることを示した。
  論文  参考訳（メタデータ） (2026-06-01T23:51:37Z)
• DUAL-BLADE: Dual-Path NVMe-Direct KV-Cache Offloading for Edge LLM Inference [6.147640298081776]
  キーバリュー(KV)キャッシュは、しばしば利用可能なデバイスメモリを超える。 本稿では、KVテンソルをページキャッシュパスまたはDMAダイレクトパスに動的に割り当てるデュアルパスKV在留フレームワークであるカーネルBLADEを提案する。 推論-BLADEは、それぞれ33.1%と42.4%の遅延をプリフィルとデコードするボトルネックを実質的に緩和する。
  論文  参考訳（メタデータ） (2026-04-29T11:44:35Z)
• DeFRiS: Silo-Cooperative IoT Applications Scheduling via Decentralized Federated Reinforcement Learning [62.347535250646196]
  本稿では、ロバストでスケーラブルなシロコラボ型IoTアプリケーションスケジューリングのための分散フェデレーション強化学習フレームワークであるDeFRiSを提案する。 DeFRiSは、(i)異種サイロ間のシームレスな知識伝達を可能にするための候補資源スコアを利用したアクション空間非依存ポリシー、(ii)汎用アドバンテージ推定とクリッピングされたポリシー更新を組み合わせたサイロ最適化ローカル学習メカニズム、(iii)類似性認識の知識伝達と異常検出に勾配指紋を利用するDual-Track Non-IIDロバストな分散集約プロトコル、の3つのイノベーションを統合する。
  論文  参考訳（メタデータ） (2026-03-16T02:02:38Z)
• Training Large Reasoning Models Efficiently via Progressive Thought Encoding [63.254758972725654]
  大規模推論モデル(LRM)は複雑な問題に優れるが、効率にとって重要な障壁に直面している。 本稿では,パラメータ効率のよい微調整手法であるProgressive Thoughtを紹介する。
  論文  参考訳（メタデータ） (2026-02-18T20:03:38Z)
• DynaKV: Enabling Accurate and Efficient Long-Sequence LLM Decoding on Smartphones [10.813495376006427]
  大規模言語モデル(LLM)は、効率的で効果的な長シーケンスデコードをサポートすることがますます期待されている。 DRAM容量が限られているため、スマートフォン上でのLLM復号化はキー値キャッシュ(KVCache)によって制限される。 我々はDynaKVを提案する。DynaKVはスマートフォン上での長時間デコードにおける精度と効率を両立させる最初の適応KVキャッシュ管理手法である。
  論文  参考訳（メタデータ） (2025-10-20T08:56:02Z)
• CacheClip: Accelerating RAG with Effective KV Cache Reuse [8.016679032026824]
  CacheClipは、高速TTFTとハイジェネレーション品質の両方を実現する新しいフレームワークである。 本手法は,(1)選択的KVキャッシュ再計算のための補助モデル誘導トークン選択,(2)冗長な注意シンクを排除するための共有プレフィックス,(3)局所コヒーレンスを維持するためのグループ化戦略の3つの手法を統合する。
  論文  参考訳（メタデータ） (2025-10-11T09:28:26Z)
• MT-DAO: Multi-Timescale Distributed Adaptive Optimizers with Local Updates [24.81282608003312]
  分散データ並列性を備えた大規模モデルのトレーニングには、労働者間の勾配の頻繁な通信が必要である。 頻繁な通信戦略(例えばローカルSGD)は、このオーバーヘッドを減少させるが、完全な同期DDPと比較してパフォーマンスのギャップを被ることが多い。 MT-DAOは,低速かつ高速に動く第1モータや,異なる時間スケールでの更新ダイナミクスを追従する勾配系である。
  論文  参考訳（メタデータ） (2025-10-06T20:37:57Z)
• RAPID^3: Tri-Level Reinforced Acceleration Policies for Diffusion Transformer [86.57077884971478]
  ディフュージョントランスフォーマー(DiT)は、視覚発生時に優れるが、遅いサンプリングによって妨げられる。 本稿では,RAPID3: Tri-Level Reinforced Acceleration Policies for Diffusion Transformersを紹介する。 ベースジェネレータの更新をゼロにするイメージワイドアクセラレーションを提供する。 競合する生成品質でサンプリングを3倍近く高速化する。
  論文  参考訳（メタデータ） (2025-09-26T13:20:52Z)
• FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling [10.298476019491146]
  Flow KVは非凝集型推論フレームワークである。 これにより、KVキャッシュの平均伝送遅延を0.944sから0.053sに96%削減できる。 これは、通常、計算の不均衡、極端な過負荷条件など、様々なシナリオでピークシステムのスループットを達成する。
  論文  参考訳（メタデータ） (2025-04-03T08:58:05Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
  我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。 信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
  論文  参考訳（メタデータ） (2024-06-29T02:40:28Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。