論文の概要: BOOST: Concurrent Access to Host Memory and HBM to Accelerate LLM Inference

• arxiv url: http://arxiv.org/abs/2609.13592v1
• Date: Fri, 11 Sep 2026 23:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.403512
• Title: BOOST: Concurrent Access to Host Memory and HBM to Accelerate LLM Inference
• Title（参考訳）: BOOST: ホストメモリへの同時アクセスと,LDM推論の高速化のためのHBM
• Abstract要約: GPUメモリシステムは、ハイバンド幅メモリ(HBM)の第1層と、CPU-GPU相互接続を介して接続されるホストメモリの第2層で構成されている。 現在のサービスシステムは階層的に扱うもので、データが適合する時点から、それ以外は使用前のホストメモリからティアへのデータをプリフェッチする。 BOOSTは,GPUメモリ層の両方に並列アクセスと比例アクセスを提供する,最初のシステムランタイムである。
• 参考スコア（独自算出の注目度）: 4.541644436972608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GPU memory bandwidth and capacity limit throughput in large language model (LLM) inference. The GPU memory system consists of a primary tier of high-bandwidth memory (HBM) and a secondary tier of host memory connected via CPU-to-GPU interconnect. Current serving systems treat the tiers hierarchically: they serve exclusively from HBM when data fits, and otherwise prefetch data from host memory to HBM before use. In both cases, the host memory bandwidth is never well utilized. Prefetching expands capacity by utilizing host memory, but consumes HBM bandwidth for writes, reducing the bandwidth available for demand loads. We observe that fully utilizing both host and HBM bandwidth requires each wave of GPU threadblocks to access both tiers concurrently and in proportion to their bandwidth ratio. Existing bandwidth-proportional placement strategies fail to provide concurrency because they are not aware of GPU waves, and the large 2MB GPU page size. This paper presents BOOST, the first runtime system that provides concurrent and proportional access to both GPU memory tiers, extracting the combined bandwidth of host memory and HBM for LLM inference without kernel changes. The key insight in BOOST is to use kernel access patterns to make page allocation and runtime data management wave-aware. For static model weights, BOOST applies modulo-based page placement that eliminates access-ratio variance; for dynamically provisioned attention key-value (KV) pairs, it makes the free KV page pool wave-aware. We integrate BOOST into vLLM and evaluate on a Grace Hopper system. At iso-batch size, BOOST improves Time-per-Output-Token (TPOT) by 4.3% over HBM-only serving, whereas prefetching degrades TPOT by 6%. In high-throughput serving, BOOST improves throughput by 31% on average, outperforming prefetching by 15%.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論におけるGPUメモリ帯域幅と容量制限スループット。 GPUメモリシステムは、ハイバンド幅メモリ(HBM)の第1層と、CPU-GPU相互接続を介して接続されるホストメモリの第2層で構成されている。 現在のサービスシステムは階層的に、データの適合時にHBMからのみ機能し、それ以外は使用前にホストメモリからHBMにデータをプリフェッチする。 どちらの場合も、ホストメモリ帯域幅は十分に利用されない。 Prefetchingはホストメモリを利用することでキャパシティを拡大するが、書き込みにはHBM帯域幅を使用するため、要求の負荷に利用できる帯域幅を削減できる。 ホストとHBMの両方の帯域幅をフル活用するには,GPUスレッドブロックの各波が同時に,その帯域幅比に比例してアクセスする必要がある。 既存の帯域幅比配置戦略は、GPU波や大きな2MBのGPUページサイズを意識していないため、並行性を提供できない。 本稿では,カーネル変更を伴わずにホストメモリとHBMの併用帯域幅を抽出し,GPUメモリ層を並列かつ比例的にアクセスする最初のランタイムシステムであるBOOSTを提案する。 BOOSTにおける重要な洞察は、ページ割り当てと実行時データ管理をウェーブアウェアにするためにカーネルアクセスパターンを使用することである。 静的モデルの重み付けについては、アクセス比のばらつきを排除したモジュロベースのページ配置を適用し、動的に設定された注目キー値(KV)ペアに対して、自由なKVページプールをウェーブアウェアする。 我々は BOOST を vLLM に統合し,Grace Hopper システムで評価する。 イソバッチサイズでは、BOOSTはHBMのみのサービスよりもTPOT(Time-per-Output-Token)を4.3%改善し、プレフェッチはTPOTを6%劣化させる。 高スループットのサービスでは、BOOSTはスループットを平均で31%改善し、プリフェッチよりも15%向上した。

関連論文リスト

• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• Harvest: Opportunistic Peer-to-Peer GPU Caching for LLM Inference [0.0]
  LLM(Large Language Model)推論は、計算スループットよりもGPUメモリ容量に制限されている。 本稿では,高帯域幅のピアツーピアGPU相互接続を利用したGPUキャッシュ管理フレームワークであるHarvestを紹介する。 本研究では、Harvestを用いて2つの広く使われている推論コンポーネントの検索を高速化することにより、2倍以上のスループットの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2026-01-30T21:29:04Z)
• CLO: Efficient LLM Inference System with CPU-Light KVCache Offloading via Algorithm-System Co-Design [27.03446161229998]
  アルゴリズム・システム共同設計によるCPUライトKVCacheオフロードシステムであるCLOを提案する。 CLOは最先端システムと同等の精度を実現し、CPUオーバーヘッドを大幅に最小化する。
  論文  参考訳（メタデータ） (2025-11-18T14:03:21Z)
• Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
  エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。 PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
  論文  参考訳（メタデータ） (2025-07-09T07:27:18Z)
• L3: DIMM-PIM Integrated Architecture and Coordination for Scalable Long-Context LLM Inference [6.886434948681708]
  大きな言語モデル(LLM)では、長いテキストシーケンスの処理がますます必要になるが、GPUメモリの制限により、メモリ容量と帯域幅のトレードオフが困難になる。 重要なメモリボトルネックは、マルチヘッドアテンションの復号フェーズにある。 本稿では,DIMM-PIMとGPUデバイスを統合したハードウェア・ソフトウェア共同設計システムであるL3を提案する。
  論文  参考訳（メタデータ） (2025-04-24T14:14:07Z)
• Memory-Efficient Training for Deep Speaker Embedding Learning in Speaker Verification [50.596077598766975]
  資源制約のあるシナリオにおける深層話者埋め込み学習のためのメモリ効率のトレーニング戦略について検討する。 アクティベーションのために、中間アクティベーションを格納する必要がない2種類の可逆ニューラルネットワークを設計する。 状態に対して、元の32ビット浮動小数点値を動的ツリーベースの8ビットデータ型に置き換える動的量子化手法を導入する。
  論文  参考訳（メタデータ） (2024-12-02T06:57:46Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Heterogeneous Acceleration Pipeline for Recommendation System Training [1.8457649813040096]
  レコメンデーションモデルは、ディープラーニングネットワークと大規模な埋め込みテーブルに依存している。 これらのモデルは一般的に、ハイブリッドGPUまたはGPUのみの設定を使用してトレーニングされる。 本稿ではヘテロジニアスなCPUアクセラレーションパイプラインであるHotlineを紹介する。
  論文  参考訳（メタデータ） (2022-04-11T23:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。