論文の概要: TACT-KV: Tri-Axis Cosine Transform for Compressing Volumetric KV Caches in Medical VLMs

• arxiv url: http://arxiv.org/abs/2611.07593v1
• Date: Thu, 05 Nov 2026 07:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.586528
• Title: TACT-KV: Tri-Axis Cosine Transform for Compressing Volumetric KV Caches in Medical VLMs
• Title（参考訳）: TACT-KV:医療用VLMにおける体積KVキャッシュ圧縮用三軸コサイン変換
• Abstract要約: TACT-KVは3次元医療スキャンのためのキャリブレーションフリーKV圧縮法である。 3次元スキャンの3つの解剖学的軸に沿って、視覚的KV状態の強い空間相関を利用する。 バッチサイズを1つのGPUで最大8ドルまでスケールする。
• 参考スコア（独自算出の注目度）: 10.994207783891483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) applied to 3D medical scans face a structural memory wall. A single CT or MRI volume produces tens of thousands of vision tokens, and the resulting key-value (KV) cache scales linearly with both batch and context. Existing KV compression methods operate on the cache's feature or token statistics, or apply 1D and 2D transforms, leaving the three-axis spatial structure in the cache unexploited. We propose TACT-KV (Tri-Axis Cosine Transform), a calibration-free KV compression method that exploits strong spatial correlations in visual KV states along all three anatomical axes of 3D scans. This correlation concentrates the KV cache energy under a frequency-domain transform. TACT-KV applies a separable 3D discrete cosine transform to the KV cache, allocates a per-layer bit budget across frequency bins via reverse water-filling (more bits to high-energy components), and quantizes each bin with a fixed scalar codebook. We derive a close-form relation: the distortion reduction from adaptive bit allocation is dominated by the spectral concentration of the transformed cache. Across six medical VLMs and two 3D CT benchmarks, TACT-KV achieves the lowest 1-bit prediction-flip rate on eleven of twelve model and dataset pairs in our main comparison. The same advantage reproduces on four general-purpose VLMs evaluated on video tasks, indicating that the benefit of exploiting three-axis structure generalizes beyond medical imaging. At equal high-bandwidth memory (HBM), TACT-KV scales the decoding batch size on a single GPU by up to $8\times$.
• Abstract（参考訳）: 3次元医用スキャンに応用された視覚言語モデル(VLM)は、構造記憶壁に直面している。 単一のCTまたはMRIボリュームは数万の視覚トークンを生成し、結果のキー値(KV)キャッシュはバッチとコンテキストの両方で線形にスケールする。 既存のKV圧縮法はキャッシュの特徴またはトークン統計に基づいて動作し、1Dおよび2D変換を適用し、キャッシュ内の3軸空間構造を未公表のまま残す。 3次元スキャンの3つの解剖学的軸に沿って、視覚的KV状態の強い空間相関を利用するキャリブレーションのないKV圧縮法であるTACT-KV(Tri-Axis Cosine Transform)を提案する。 この相関は周波数領域変換の下でKVキャッシュエネルギーを集中させる。 TACT-KVは、分離可能な3D離散コサイン変換をKVキャッシュに適用し、逆水充填(高エネルギー成分へのより多くのビット)を介して周波数ビンをまたいだ層間ビット予算を割り当て、各ビンを固定スカラーコードブックで定量化する。 適応ビット割り当てによる歪み低減は、変換されたキャッシュのスペクトル集中に支配される。 TACT-KVは6つの医用VLMと2つの3次元CTベンチマークで、12のモデルとデータセットペアのうち11のモデルにおいて、最も低い1ビットの予測フリップ率を達成した。 同じ利点は、ビデオタスクで評価された4つの汎用VLMで再現され、3軸構造を利用する利点が医用画像を超えて一般化されることを示している。 等高帯域メモリ(HBM)では、TACT-KVは1つのGPU上のデコードバッチサイズを最大8\times$までスケールする。

関連論文リスト

• WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms [49.191043733828856]
  低ビット KV-cache 量子化のための WUSH-KV を導入する。 WUSHは行列生成物の両方の因子の2次統計からデータ認識変換を構築し、量子化誤差を低減する。 WUSH-KVをOSCAR型パーセンタイルクラッピングアフィン量子化によりSGLangに統合する。
  論文  参考訳（メタデータ） (2026-09-29T17:50:50Z)
• Interface-Aware KV Cache Quantization for Dense On-Chip NVM in Long-Context LLM Decoding [5.984068900226547]
  キーバリュー(KV)キャッシュは、Long-context Large Language Model(LLM)デコードにおいて、主要なメモリボトルネックである。 既存のKV量子化法はGPUスタイルのメモリシステムのために設計された。 本稿では,KVキャッシュが固定レンジコンバータの背後にNVM内に存在する場合のコストについて検討する。
  論文  参考訳（メタデータ） (2026-09-04T22:58:21Z)
• TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks [20.031258206130154]
  エージェントワークロードのための新しい混合精度KV-cache量子化スキームであるTriAxialKVを紹介する。 我々は、キャリブレーション、混合精度量子化、メモリ管理を含むエンドツーエンドサービスシステムとしてTriAxialKVを実装した。
  論文  参考訳（メタデータ） (2026-05-16T21:58:28Z)
• KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models [3.5171501100868876]
  KVキャッシュはシーケンス長と埋め込み次元で成長し、しばしばモデル自体のメモリフットプリントを超える。 KV CARは,モデル忠実性を維持しつつ,KVキャッシュストレージを大幅に削減する,統一的で非依存なアーキテクチャフレームワークである。 Wikitext、C4、PIQA、WinograndeデータセットにわたるGPT 2とTinyLLaMAモデルの評価は、KV CARが最大47.85パーセントのKVキャッシュメモリ削減を達成したことを示している。
  論文  参考訳（メタデータ） (2025-12-07T08:40:52Z)
• KV Cache Transform Coding for Compact Storage in LLM Inference [2.20003167536462]
  KVTCは、KVキャッシュをコンパクトなオンGPUとオフGPUストレージに圧縮する軽量トランスフォーメーションコーダである。 KVキャッシュの冗長性を活用することで、KVTCは推論と長文の精度を維持しながら最大20$times$圧縮を達成する。 我々は、AIME25、LiveCodeBench、GSM8K、MMLU、Qasper、RULER、MATH-500を含むベンチマークで、Llama 3、Mistral NeMo、R1-Qwen 2.5モデルでKVTCをテストする。
  論文  参考訳（メタデータ） (2025-11-03T18:20:35Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。