論文の概要: MeshKV: A Network-on-Chip KV Cache Fabric for Scalable Transformer Decoding Accelerators

• arxiv url: http://arxiv.org/abs/2609.19207v1
• Date: Wed, 16 Sep 2026 10:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.949991
• Title: MeshKV: A Network-on-Chip KV Cache Fabric for Scalable Transformer Decoding Accelerators
• Title（参考訳）: MeshKV: スケーラブルトランスフォーマーデコーディングアクセラレータ用のネットワークオンチップKVキャッシュファブリック
• Abstract要約: MeshKVはKVキャッシュファブリックで、軽量なNoC上でパケット化されたフローとしてブロックを動かす。 接続トラフィックを最大58%削減し、KV帯域使用率を2.1倍改善し、最大1.9倍のマルチストリームスループットを提供する。
• 参考スコア（独自算出の注目度）: 5.216774377033164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive transformer decoding is constrained by irregular key-value (KV) cache movement on tiled accelerators. Prior compression and DRAM-placement systems still concentrate traffic on centralized memory paths that bottleneck long-context serving. We present MeshKV, a KV cache fabric that moves blocks as packetized flows over a lightweight NoC. It co-designs (i) TaKV affine striping to spread homes and cut hotspot load, (ii) Mare multicast with verified duplicate suppression, and (iii) Pad, which overlaps prefetch, tile multiply, and streaming softmax behind credit-aligned FIFOs. Together they convert bisection back-pressure into useful KV transfer. On our 8x8 FPGA implementation with LLaMA-2-7B and Mistral-7B at 8K-32K, MeshKV reduces interconnect traffic by up to 58%, improves KV bandwidth utilization by 2.1x, and delivers up to 1.9x multi-stream throughput.
• Abstract（参考訳）: 自己回帰変換器デコーディングは、タイル付き加速器上の不規則キー値(KV)キャッシュ移動によって制約される。 以前の圧縮とDRAM配置システムは、長いコンテキスト提供のボトルネックとなる集中的なメモリパスにトラフィックを集中させ続けている。 本稿では,KVキャッシュファブリックであるMeshKVについて述べる。 共同設計 (i)TaKVアフィンストレッチにより住宅を広げ、ホットスポット負荷を削減。 二 重複抑制の確認されたメアマルチキャスト、及び (iii)Padは、プリフェッチ、タイルの乗算、ストリーミングソフトマックスをクレジットアラインメントFIFOの裏側に置く。 同時に、バイオセクションバックプレッシャを有用なKV転送に変換する。 LLaMA-2-7BとMistral-7Bを8K-32Kで実装した8x8 FPGAでは、MeshKVは接続トラフィックを最大58%削減し、KV帯域使用率を2.1倍改善し、最大1.9倍のマルチストリームスループットを提供する。

関連論文リスト

• HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration for LLM Decoding [6.5805487988920355]
  HiKVは階層的な重要度認識を通じてKVキャッシュ冗長性を利用する。 我々は、再構成可能な重要度ソータを中心とした専用アクセラレーターを開発する。 HiKVは最大7.95倍のスピードアップと90%のエネルギー削減を実現している。
  論文  参考訳（メタデータ） (2026-07-24T15:15:10Z)
• Efficient Remote Prefix Fetching with GPU-native Media ASICs [15.991394335072547]
  リモートKVキャッシュの再利用は、リモートストレージから同じコンテキストのKVキャッシュを取得する。 近年の研究では、KVキャッシュを圧縮形式で送信することでこの問題に対処している。 我々は,GPUネイティブなビデオコーデックを活用する,効率的で広くデプロイ可能なリモートKVキャッシュ再利用ソリューションを提案する。
  論文  参考訳（メタデータ） (2026-02-10T12:29:02Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
  FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。 蓄積された圧縮KVキャッシュを過去のターンから保存する。 古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
  論文  参考訳（メタデータ） (2025-05-21T10:20:46Z)
• RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression [25.190765258589707]
  トレーニング不要なKVキャッシュ圧縮戦略であるRocketKVについて述べる。 第1段階では、入力シーケンストークンに対して粗粒永久KVキャッシュ消去を行う。 第2段階では、微粒のトップkスパースアテンションを行うために、ハイブリッドスパースアテンション方式を採用する。
  論文  参考訳（メタデータ） (2025-02-19T19:12:46Z)
• RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations [4.794762861776729]
  キーバリュー(KV)キャッシュは、過去のKVの再計算を避けることにより、効率的な大言語モデル(LLM)推論を容易にする。 既存のKV量子化は、微細な量子化や高ビット幅キャッシュのかなりの部分の保持に依存している。 本稿では,以下の技術革新を通じて正確で堅牢な性能を実現するRotateKVを提案する。
  論文  参考訳（メタデータ） (2025-01-25T01:45:29Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。