論文の概要: Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression

• arxiv url: http://arxiv.org/abs/2609.36322v1
• Date: Mon, 28 Sep 2026 21:54:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.037771
• Title: Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
• Title（参考訳）: 周期弱スポット:チャンクKVキャッシュ圧縮による位相感度
• Abstract要約: チャンクされたKV-cache圧縮により、長文推論のメモリと注意コストが削減される。 我々は、同じ情報をあるフェーズで取得しやすく、また別のフェーズで取得することが困難であることを示す。
• 参考スコア（独自算出の注目度）: 28.7301746715584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chunked KV-cache compression reduces the memory and attention costs of long-context inference by compressing windows of consecutive tokens into fewer cache entries at a fixed stride. Such compression also introduces a new positional coordinate: a token's phase, or its position relative to compression-window boundaries. We uncover a systematic asymmetry in models using such compression: the same information can be easy to retrieve at one phase and difficult at another. We call this periodic variation in retrieval performance phase sensitivity. In large open-weight models with such compression, long-context retrieval accuracy can differ by up to 40 percentage points across phases, revealing periodic weak spots that average benchmark scores can conceal. To investigate this behavior, we pretrain a family of transformers from scratch across multiple KV-compression designs, reproducing phase sensitivity across the variants. Mechanistic analysis using causal interventions in these models reveals phase specialization: different attention components contribute asymmetrically to retrieving information at different source phases. We further analyze idealized retrieval models, showing how gradient flow dynamics may favor sharp phase specialization. Evaluating models with chunked KV-cache compression thus requires measuring across compression phases: high average accuracy can coexist with systematic positional failures.
• Abstract（参考訳）: チャンクされたKV-cache圧縮は、連続するトークンのウィンドウを固定されたストライドで少ないキャッシュエントリに圧縮することで、長いコンテキスト推論のメモリと注意コストを低減する。 このような圧縮はまた、新しい位置座標(トークンの位相、または圧縮ウィンドウ境界に対する位置)を導入する。 このような圧縮を用いてモデル内の系統的な非対称性を明らかにする。 我々はこの周期的変動を検索性能の位相感度と呼ぶ。 このような圧縮を伴う大規模オープンウェイトモデルでは、長いコンテキストの検索精度は、フェーズ毎に最大40パーセントの違いがあり、平均ベンチマークスコアが隠せるような周期的な弱点が明らかになる。 この振る舞いを調べるために,複数のKV圧縮設計に対してスクラッチから変換器群を事前訓練し,各変種間で位相感度を再現する。 これらのモデルにおける因果介入を用いた機械的解析は、異なる注意要素が異なるソースフェーズの情報を取得するために非対称に寄与する相特化を示す。 さらに, 最適解法モデルの解析を行い, 急激な位相の特殊化を行えば, 勾配流のダイナミクスがいかに有利かを示した。 したがって、チャンクされたKV-cache圧縮モデルを評価するには、圧縮フェーズをまたいで測定する必要がある。

関連論文リスト

• Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches [25.55174329283001]
  長文トランスフォーマー推論は、KVキャッシュ圧縮や量子化にますます依存している。 我々は,キャッシュ調整後のレイヤであるCodec-Gaugeを紹介した。
  論文  参考訳（メタデータ） (2026-07-10T17:18:25Z)
• DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
  DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。 DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
  論文  参考訳（メタデータ） (2026-07-07T17:29:01Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics [22.98826013817833]
  トークンレベルのルーティングの制御摂動として,KV圧縮を物理に着想を得た視点を提案する。 適度な圧縮は、内部表現をほとんど精度の低下なく劣化させ、冗長性を明らかにする。 トークンサバイバルにもかかわらず、過度なヘッドレベルのコンセンサスによってルーティングの柔軟性が崩壊する表現剛性を特定する。
  論文  参考訳（メタデータ） (2026-03-02T04:16:36Z)
• CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
  CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。 提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-22T06:55:45Z)
• FAEDKV: Infinite-Window Fourier Transform for Unbiased KV Cache Compression [18.12657364501536]
  FAEDKVは、トレーニング不要のKVキャッシュ圧縮フレームワークである。 初期の情報と最近の情報の両方を保存している。 LongBenchベンチマークの実験では、FAEDKVは既存のメソッドよりも最大22%優れていた。
  論文  参考訳（メタデータ） (2025-07-26T18:20:25Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。