論文の概要: SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging
- arxiv url: http://arxiv.org/abs/2603.14303v1
- Date: Sun, 15 Mar 2026 09:36:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.733624
- Title: SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging
- Title（参考訳）: SemantiCache: セマンティックチャンキングとクラスタリングによる効率的なKVキャッシュ圧縮
- Abstract要約: SemantiCacheはセマンティックな整合性を維持する新しい圧縮フレームワークである。
まず、キャッシュを意味的に一貫性のあるチャンクに分割します。
各チャンク内には,トークンをセマンティッククラスタにグループ化するGreedy Seed-Based Clustering (GSC)アルゴリズムが導入されている。
これらのクラスタはさらにセマンティックコアにマージされ、Proportional Attentionメカニズムによって強化される。
- 参考スコア（独自算出の注目度）: 14.82266992933174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing KV cache compression methods generally operate on discrete tokens or non-semantic chunks. However, such approaches often lead to semantic fragmentation, where linguistically coherent units are disrupted, causing irreversible information loss and degradation in model performance. To address this, we introduce SemantiCache, a novel compression framework that preserves semantic integrity by aligning the compression process with the semantic hierarchical nature of language. Specifically, we first partition the cache into semantically coherent chunks by delimiters, which are natural semantic boundaries. Within each chunk, we introduce a computationally efficient Greedy Seed-Based Clustering (GSC) algorithm to group tokens into semantic clusters. These clusters are further merged into semantic cores, enhanced by a Proportional Attention mechanism that rebalances the reduced attention contributions of the merged tokens. Extensive experiments across diverse benchmarks and models demonstrate that SemantiCache accelerates the decoding stage of inference by up to 2.61 times and substantially reduces memory footprint, while maintaining performance comparable to the original model.
- Abstract（参考訳）: 既存のKVキャッシュ圧縮手法は一般に離散トークンや非意味チャンクで動作する。
しかし、そのようなアプローチはしばしば意味的断片化を引き起こし、言語的に一貫性のある単位が破壊され、不可逆的な情報損失とモデル性能の低下を引き起こす。
これを解決するために,セマンティキャッシュを紹介した。セマンティキャッシュは,セマンティックな階層的な言語の性質と圧縮プロセスの整合性を維持することで意味的整合性を維持する新しい圧縮フレームワークである。
具体的には、まずキャッシュを、自然なセマンティック境界であるデリミタによってセマンティックコヒーレントなチャンクに分割する。
各チャンク内で,トークンをセマンティッククラスタにグループ化する,計算効率のよいGreedy Seed-Based Clustering (GSC)アルゴリズムを導入する。
これらのクラスタはさらにセマンティックコアにマージされ、マージされたトークンの注目度を減少させるReportional Attentionメカニズムによって強化される。
様々なベンチマークやモデルにわたる大規模な実験により、SemantiCacheは推論の復号段階を最大2.61倍に加速し、メモリフットプリントを大幅に削減し、元のモデルに匹敵する性能を維持している。
関連論文リスト
- GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。
KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。
GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
論文 参考訳（メタデータ） (2026-05-29T10:16:30Z) - LycheeCluster: Efficient Long-Context Inference with Structure-Aware Chunking and Hierarchical KV Indexing [29.284917403504352]
効率的なKVキャッシュ管理のための新しい手法であるLycheeClusterを提案する。
LycheeClusterは境界対応のチャンキングを通じて局所的な意味的コヒーレンスを保持し、三角形の不等式に根ざした階層的指数を構成する。
実験により、LycheeClusterはモデル性能の無視可能な劣化を伴う、最大3.6倍のエンドツーエンドの推論スピードアップを達成することが示された。
論文 参考訳（メタデータ） (2026-03-09T14:50:35Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳（メタデータ） (2026-01-07T19:51:06Z) - SemShareKV: Efficient KVCache Sharing for Semantically Similar Prompts via Token-Level LSH Matching [0.8307668828380427]
大規模言語モデル(LLM)のためのKVキャッシュ共有圧縮フレームワークである textitSemShareKV を提案する。
正確なトークンマッチに頼る代わりに、SemShareKVは、トークン埋め込みにローカリティ感受性ハッシュ(LSH)を使用してファジィトークンマッチングを適用し、位置情報をよりよく保存するためにロータリー位置埋め込み(Rotary Position Embedding、RoPE)を組み込んでいる。
多様な要約データセットの実験では、最大6.25$times$スピードアップと42%低いGPUメモリ使用率で5kトークンが入力され、品質劣化は無視できる。
論文 参考訳（メタデータ） (2025-09-29T14:16:13Z) - KVCompose: Efficient Structured KV Cache Compression with Composite Tokens [7.922206020386125]
大規模言語モデル(LLM)は、効率的な自己回帰復号化のためにキー値(KV)キャッシュに依存している。
我々は,注意誘導型,層適応型複合トークンに基づく,シンプルで効果的なKVキャッシュ圧縮フレームワークを提案する。
本手法は精度を保ちながらメモリの大幅な削減を実現し,従来手法と半構造化手法を一貫して上回っている。
論文 参考訳（メタデータ） (2025-09-05T14:58:24Z) - CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。
提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-08-22T06:55:45Z) - SentenceKV: Efficient LLM Inference via Sentence-Level Semantic KV Caching [5.545249777535219]
SentenceKVは、セマンティックコヒーレンスを保持しながら推論効率を向上させるために設計された、新しいKVキャッシュアプローチである。
本研究では,SentenceKVがモデル精度を損なうことなく,効率とメモリ使用量の両方において最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-04-01T17:08:57Z) - Hierarchical Semantic Compression for Consistent Image Semantic Restoration [62.97519327310638]
生成モデルから固有意味空間内で純粋に機能する新しい階層意味圧縮(HSC)フレームワークを提案する。
実験の結果,提案したHSCフレームワークは人間の視力に対する主観的品質と一貫性に関する最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2025-02-24T03:20:44Z) - ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。
ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。
結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
論文 参考訳（メタデータ） (2025-02-01T03:49:47Z) - Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。
本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。
命令符号化では,キャッシュの重要性を評価するために周波数を利用する。
様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-25T15:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。