論文の概要: Composable CXL Memory as a Kubernetes-Native Shared Memory for LLM Serving

• arxiv url: http://arxiv.org/abs/2609.10790v1
• Date: Wed, 09 Sep 2026 19:52:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.122504
• Title: Composable CXL Memory as a Kubernetes-Native Shared Memory for LLM Serving
• Title（参考訳）: LLMサービングのためのKubernetesネイティブ共有メモリとして構成可能なCXLメモリ
• Abstract要約: 構成可能なCXLメモリをスケジューリング可能なクラスタリソースとする動的リソース割当(DRA)ドライバを提案する。 ドライバは要求に応じてCXL領域を構成し、各ホスト上でDAXデバイスとして生成し、ポッドに注入する。 vLLM/llm-d用の共有メモリコネクタは、共有媒体内にスロットディレクトリが埋め込まれたKVキャッシュ層として、その領域を使用する。
• 参考スコア（独自算出の注目度）: 2.154726025027522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a Kubernetes Dynamic Resource Allocation (DRA) driver that makes composable CXL memory a schedulable cluster resource, and evaluate the resulting shared-memory tier for cross-node KV-cache reuse in LLM serving. The driver composes CXL regions on demand, materializes them as DAX devices on each participating host, and injects them into pods under a single Container Device Interface (CDI) name so that pods on different nodes access the same physical region. A shared-memory connector for vLLM/llm-d uses that region as a KV-cache tier with a slot directory embedded inside the shared medium, which eliminates the need for an external metadata service. On a two-node cluster with a 512\,GiB CXL appliance and Qwen2.5-7B-Instruct, cross-node prefix reuse reduces TTFT by 5.5$\times$--36.6$\times$ at an external hit rate of 95.4--99.5\,\%, while node-local tiers (GPU prefix caching, CPU-DRAM offload) fall back to full recompute. The sharing gap, defined as the latency ratio between cross-node and same-node reuse, is 1--4\%, indicating that cross-node reuse incurs little additional latency relative to same-node reuse on our testbed. Both replicas run full engines; the study demonstrates memory disaggregation rather than prefill/decode disaggregation. We report this as a feasibility study rather than a performance evaluation.
• Abstract（参考訳）: 本稿では、構成可能なCXLメモリをスケジューリング可能なクラスタリソースとするKubernetes Dynamic Resource Allocation(DRA)ドライバを提案する。 ドライバは要求に応じてCXLリージョンを構成し、各ホスト上でDAXデバイスとして生成し、異なるノード上のポッドが同じ物理領域にアクセスするように、単一のContainer Device Interface(CDI)名の下でポッドに注入する。 vLLM/llm-d用の共有メモリコネクタは、その領域を共有媒体に埋め込まれたスロットディレクトリを持つKVキャッシュ層として使用することにより、外部メタデータサービスの必要性を排除している。 512\,GiB CXLアプライアンスとQwen2.5-7B-インストラクトを持つ2ノードクラスタでは、クロスノードプレフィックスの再利用はTTFTを5.5$\times$--36.6$\times$の外部ヒットレート95.4--99.5\,\%で削減する。 共有ギャップは、クロスノードと同ノードの再利用のレイテンシ比として定義されており、1--4\%であり、クロスノードの再利用はテストベッド上での同ノードの再利用と比較して、ほとんど追加のレイテンシを生じないことを示している。 この研究は、プリフィル/デコードのデアグリゲーションではなく、メモリのデアグリゲーションを示す。 性能評価よりも実現可能性調査として報告する。

関連論文リスト

• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• Move the Query, Not the Cache: Characterizing Cross-Instance Latent Attention Redistribution Across GPU Fabrics [1.081571058570587]
  Multi-head Latent Attentionは算術を逆転し、各トークンのキーと値を1つの狭いベクトルに圧縮する。 実マルチノードH100クラスタ上でのクロスインスタンスMLAの注意を特徴付ける。
  論文  参考訳（メタデータ） (2026-05-31T23:53:24Z)
• MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
  本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。 MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。 MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
  論文  参考訳（メタデータ） (2026-05-20T07:25:33Z)
• ObjectCache: Layerwise Object-Storage Retrieval for KV Cache Reuse [6.734363135861142]
  プリフィックスKVキャッシュはLLMサービスにおいて重要なメカニズムとなっている。 現在のシステムは、KVキャッシュをリモートDRAMプールに保持し、サービスクラスタのサイズとコストを増大させる。 ストレージサーバがKVキャッシュデータをGPUが消費する順番に配信するように,ストレージプロトコルと転送スケジュールを共同設計するObjectCacheを提案する。
  論文  参考訳（メタデータ） (2026-05-16T16:48:46Z)
• AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems [15.913507689262573]
  AgentKVShift(エージェントKVShift)は、検索したメモリ単位ごとに動作させる訓練不要のプローブ誘導残差補正手法である。 我々は,AgentKVShiftがキャッシュの10～30%をリフレッシュしながら,ほぼ完全な再計算性能を実現することを示す。 このほぼフルに近いパフォーマンスに達するには最大5倍の低い再計算が必要で、以前の再利用メソッドは45～55%のリフレッシュしか得られない。
  論文  参考訳（メタデータ） (2026-05-15T16:29:36Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• LLM Inference Beyond a Single Node: From Bottlenecks to Mitigations with Fast All-Reduce Communication [5.468224958799568]
  本稿では,GPU ベースのスーパーコンピュータ上での大規模言語モデル (LLM) を用いたマルチノード分散推論の性能評価を行った。 制御実験用に設計された研究指向のプロトタイプエンジンであるYALISとともに,いくつかの最先端推論エンジンを用いて実験を行う。
  論文  参考訳（メタデータ） (2025-11-12T18:59:26Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• DISCO: Distributed Inference with Sparse Communications [4.463769269318892]
  分散コンピューティングは、単一ノードのメモリ消費を減らすための一般的なアプローチである。 本稿では,各レイヤの推論を複数のノードに分散する「階層モデル並列化」について検討する。 画像分類,オブジェクト検出,セマンティックセグメンテーション,画像スーパーレゾリューションなど,様々なCVタスクに対するdisCOフレームワークの利点を示す。
  論文  参考訳（メタデータ） (2023-02-22T07:20:34Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。