論文の概要: Characterizing High Bandwidth Flash for LLM Serving

• arxiv url: http://arxiv.org/abs/2609.39131v2
• Date: Mon, 05 Oct 2026 10:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.454689
• Title: Characterizing High Bandwidth Flash for LLM Serving
• Title（参考訳）: LLMサービング用高帯域フラッシュの特性評価
• Abstract要約: 大規模言語モデル(LLM)は、モデルの重みとKVキャッシュを保持するためにかなりのメモリを必要とする。 高帯域フラッシュ(HBF)は、大型言語モデル(LLM)サービスのためのアクセラレータメモリ容量を拡大する手段を提供するが、アクセスコストと書き込み持続時間に制限があるため、その使用は複雑である。 本稿では,HBFホストの階層型ストレージシステムとバッファ型キャッシュアウェアスケジューリングを導入し,その性能,エネルギー消費,HBF書き込みライフタイムに与える影響をトレース駆動シミュレーションを用いて解析する。
• 参考スコア（独自算出の注目度）: 62.46590593472309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) serving requires substantial memory to store model weights and KV caches. As models grow larger and contexts become longer, memory capacity and bandwidth increasingly become bottlenecks for serving performance. Agentic workloads compound this pressure through repeated interactions over growing contexts, making it increasingly important to retain KV state for reuse. High-bandwidth flash (HBF) offers a way to expand accelerator memory capacity for large language model (LLM) serving, but its access costs and limited write endurance complicate its use. We evaluate HBF for high-throughput agentic serving across system design and scheduling choices to understand when additional capacity improves serving performance and energy efficiency. We introduce an HBM-HBF-host hierarchical storage system and buffered cache-aware scheduling, and use trace-driven simulations to analyze their effects on performance, energy consumption, and HBF write lifetime. Across the evaluated workloads, the fastest HBF-augmented systems reduce completion time by 36.1-87.7% relative to HBM-only systems. Modeled energy savings reach 59.1%, with benefits depending on the workload and weight placement. Buffered cache-aware scheduling extends estimated HBF write lifetime from 1.21 to 14.82 years in the evaluated configuration. These results demonstrate the importance of coordinating data placement and scheduling to improve serving efficiency while sustaining a practical HBF write lifetime.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、モデルの重みとKVキャッシュを保持するためにかなりのメモリを必要とする。 モデルが大きくなり、コンテキストが長くなるにつれて、メモリ容量と帯域幅がパフォーマンスのボトルネックとなる。 エージェントワークロードはこのプレッシャーを、成長するコンテキストに対する反復的なインタラクションを通じて複雑化し、再利用のためにKV状態を維持することがますます重要になる。 高帯域フラッシュ(HBF)は、大型言語モデル(LLM)サービスのためのアクセラレータメモリ容量を拡大する手段を提供するが、アクセスコストと書き込み持続時間に制限があるため、その使用は複雑である。 システム設計およびスケジューリング選択における高スループットエージェントサービスに対するHBFの評価を行い、追加容量がサービス性能とエネルギー効率を向上するかどうかを明らかにする。 本稿では,HBM-HBFホスト型階層型ストレージシステムとバッファ化キャッシュ対応スケジューリングを導入し,その性能,エネルギー消費,HBF書き込み寿命に与える影響をトレース駆動シミュレーションを用いて解析する。 評価されたワークロード全体で、最速のHBF拡張システムは、HBMのみのシステムと比較して完了時間を36.1-87.7%削減した。 モデル化された省エネは59.1%に達し、作業負荷や重量の配置によって利点がある。 バッファキャッシュ対応スケジューリングは、評価された構成において、HBF書き込みの寿命を1.21年から14.82年延長する。 これらの結果から,実践的なHBF書き込み寿命を維持しながら,データ配置とスケジューリングの調整の重要性が示された。

関連論文リスト

• LLM Inference in a Flash! [66.43896490006965]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。 我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
  論文  参考訳（メタデータ） (2026-09-14T18:04:30Z)
• FLINT: Efficiently Leveraging High Bandwidth Flash for Capacity-Scalable LLM Inference Acceleration [15.418081666515919]
  LLM推論は、計算スループットよりも加速メモリ容量によってますます制限される。 HBFは、マルチテラバイト近加速器容量を提供する3DスタックのNANDフラッシュ技術である。 本稿では,作業負荷駆動型HBF基板FLINTを提案する。
  論文  参考訳（メタデータ） (2026-08-25T18:58:14Z)
• RPU -- A Reasoning Processing Unit [4.783828820539779]
  Reasoning Processing Unit (RPU) は、現代のメモリウォールの課題に対処するために設計されたチップレットベースのアーキテクチャである。 RPUは、Llama3-405B上のISO-TDPで最大45.3倍のレイテンシと18.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-02-20T19:13:19Z)
• MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
  MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。 1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
  論文  参考訳（メタデータ） (2026-02-12T09:37:05Z)
• Prefill vs. Decode Bottlenecks: SRAM-Frequency Tradeoffs and the Memory-Bandwidth Ceiling [5.606289163036201]
  エネルギー消費は、大規模言語モデルの展開によるコストと環境への影響を規定する。 本稿では,LLM推論のエネルギー効率と性能に及ぼすオンチップサイズと動作周波数の影響について検討する。
  論文  参考訳（メタデータ） (2025-12-26T15:42:29Z)
• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。 量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。 超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
  論文  参考訳（メタデータ） (2025-10-13T10:17:21Z)
• Long-Context State-Space Video World Models [66.28743632951218]
  本稿では、状態空間モデル(SSM)を活用して、計算効率を損なうことなく時間記憶を拡張する新しいアーキテクチャを提案する。 我々の設計の中心はブロックワイズSSMスキャン方式であり、時間記憶の拡張のために空間整合性を戦略的にトレードオフする。 メモリ迷路とMinecraftのデータセットの実験は、我々のアプローチが長距離メモリ保存のベースラインを超えたことを示している。
  論文  参考訳（メタデータ） (2025-05-26T16:12:41Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• ATTACC the Quadratic Bottleneck of Attention Layers [3.2741800634280245]
  本稿では、ディープニューラルネットワーク(DNN)アクセラレーターのための新しいアテンション調整データフローであるFLATを紹介する。 高帯域幅で低容量のオンチップバッファを効率的に利用することで、効果的なメモリ帯域幅を増大させる。 評価では,ATTACCは最先端エッジやクラウドアクセラレータと比較して1.94倍,1.76倍,49%,42%のエネルギー削減を達成した。
  論文  参考訳（メタデータ） (2021-07-13T22:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。