論文の概要: Latent Compaction with Test-Time Training

• arxiv url: http://arxiv.org/abs/2610.20582v1
• Date: Wed, 14 Oct 2026 17:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.295602
• Title: Latent Compaction with Test-Time Training
• Title（参考訳）: テストタイムトレーニングによる潜時圧縮
• Abstract要約: テスト時間トレーニングを通じてコンパクトなドキュメント固有のキャッシュを学習する**Latent Compaction**を導入する。 KVキャッシュをニューラルネットワークとして扱い、テスト時間トレーニングで最適化することで、アグレッシブな圧縮下での検索精度を維持することができることを示す。
• 参考スコア（独自算出の注目度）: 12.301978758012808
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Long contexts enlarge key--value (KV) caches, increasing memory use and attention costs during generation. Compressing these caches must preserve information for unseen questions. We introduce **Latent Compaction**, which learns a compact document-specific cache through test-time training. We initialize cache entries using reconstruction importance, teacher attention, and key-space diversity. Training first fits attention outputs and log-normalizers to those of the full cache, with reconstruction-selected entries held fixed. It then jointly optimizes the entire cache through end-to-end distillation from the full-cache model. Model weights remain frozen throughout, and training uses only generic prompts about the document, without access to downstream questions or answers. Experiments on RULER, LongBench, and Phonebook Lookup demonstrate substantial gains over budget-matched compression baselines. On a RULER, for example, our method achieves 96.7% accuracy at 32$\times$ compression, compared with 40.0% for KVZip+. The method also transfers across model scales and families, with retrieval gains on both Qwen3 and MiniCPM5. These results show that treating the KV cache as a neural network and optimizing it with test-time training can preserve retrieval accuracy under aggressive compression. The code is released at https://www.github.com/THUNLP/latent-compaction
• Abstract（参考訳）: 長いコンテキストはキー値(KV)キャッシュを拡大し、生成時のメモリ使用量と注意コストを増大させる。 これらのキャッシュを圧縮するには、目に見えない質問のための情報を保存する必要がある。 テスト時間トレーニングを通じてコンパクトなドキュメント固有のキャッシュを学習する**Latent Compaction**を導入する。 我々は、再構成の重要性、教師の注意力、キー空間の多様性を利用してキャッシュエントリを初期化する。 トレーニングファーストは、アテンション出力とログ正規化器をフルキャッシュのものと適合させ、再構成選択されたエントリを固定する。 その後、フルキャッシュモデルからエンドツーエンドの蒸留を通じて、キャッシュ全体を共同で最適化する。 トレーニングでは、下流の質問や回答にアクセスせずに、ドキュメントに関する一般的なプロンプトのみを使用する。 RULER、LongBench、Phonebook Lookupの実験は、予算設定された圧縮ベースラインよりも大幅に向上した。 例えば、RULERでは、KVZip+の40.0%に比べて、32$\times$圧縮で96.7%の精度を実現している。 また、Qwen3とMiniCPM5の両方で、モデルスケールとファミリー間での転送も行う。 これらの結果は、KVキャッシュをニューラルネットワークとして扱い、テスト時間トレーニングで最適化することで、アグレッシブな圧縮下での検索精度を維持できることを示している。 コードはhttps://www.github.com/THUNLP/latent-compactionで公開されている。

関連論文リスト

• Behavior-Preserving KV Cache Compression [15.401705814313205]
  KVキャッシュは、大規模言語モデルによる長文推論と長文生成において、大きなボトルネックとなっている。 キャッシュ圧縮は、代わりにフルキャッシュモデルの予測動作を保存するべきだと我々は主張する。 提案手法は,学習不要なフレームワークである行動保存型KVキャッシュ圧縮である。
  論文  参考訳（メタデータ） (2026-10-05T15:06:18Z)
• EchoPress: Query-Agnostic KV Cache Pruning via Virtual Context Reconstruction [6.652914234926738]
  EchoPressは、標準的なプリフィルからのクエリとキーを使用して、再構築の注意を近似する。 Qwen3-8BとLlama-3.1-8B-InstructによるLongBenchとRULERの実験は、EchoPressがKVzipと50%から90%の範囲でタスク精度で一致していることを示している。
  論文  参考訳（メタデータ） (2026-09-30T14:04:50Z)
• KV-Kaizen: Learning Context-Adaptive Cache Compression Choices [29.96349791357183]
  トークンを排除せずにキャッシュ圧縮に繋がる選択肢に注目する。 我々は、コンテキストに基づいて、階層ごとのキャッシュ構成を全体的な圧縮予算に向けて生成できるセレクタを学習する。 KV-Kaizenは、排除を改善し、それを構成でき、14Bモデルで32倍のデコードタイムキャッシュに達する。
  論文  参考訳（メタデータ） (2026-09-29T16:49:46Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。