論文の概要: Thinking Outside the Box: Retention and Transmission of Information in Sliding-Window KV Inference

• arxiv url: http://arxiv.org/abs/2609.34049v1
• Date: Mon, 28 Sep 2026 00:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:26:48.607128
• Title: Thinking Outside the Box: Retention and Transmission of Information in Sliding-Window KV Inference
• Title（参考訳）: ボックスの外を考える:スライディングウィンドウKV推論における情報の保持と伝達
• Abstract要約: KV推論は、最近のキーと値状態の固定サイズのキャッシュのみを保持しながら、シーケンスを漸進的に処理することを指す。 本研究では,Qwen,Llama,Mistral,Muse Glimmerの5つのオープンウェイトモデルを用いて実験を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sliding-window KV inference refers to processing a sequence incrementally while retaining only a fixed-size cache of recent key and value states. It can be applied to pretrained causal transformers at inference time without additional training, while its KV-cache memory remains fixed as more tokens are processed. Because cached states are computed in the context of earlier tokens, they may carry information from beyond the current window and transmit it to later states. This study presents a series of experiments using five open-weight models spanning Qwen, Llama, Mistral, and Muse Glimmer. We investigate whether information originating outside the immediate context window can persist through a rolling KV cache and remain useful for retrieval. Initial results show that retaining previously computed states improves retrieval across the models tested compared with recomputing the final fixed window from raw tokens. We then measure how far this effect extends and find that Muse Glimmer and Mistral 7B show the strongest \emph{latent information relay}: they can recover information even after the relevant source tokens have left the cache. Both models incorporate sliding-window attention in their published architectures, an association that motivates testing whether training with sliding windows promotes more reliable information retention.
• Abstract（参考訳）: スライディングウィンドウKV推論は、最近のキーと値状態の固定サイズのキャッシュのみを保持しながら、シーケンスを漸進的に処理することを指す。 追加のトレーニングなしに推論時に事前訓練された因果変換器に適用できるが、KVキャッシュメモリはより多くのトークンが処理されるにつれて固定される。 キャッシュされた状態は以前のトークンのコンテキストで計算されるため、現在のウィンドウの向こうから情報を運び、後の状態に送信することができる。 本研究では,Qwen,Llama,Mistral,Muse Glimmerの5つのオープンウェイトモデルを用いて実験を行った。 本研究は, 瞬時コンテキストウインドウの外部から発生した情報が, ローリングKVキャッシュを介して持続可能かどうかを検証し, 検索に有用であることを示す。 初期結果から,事前計算した状態の保持は,生トークンから最終的な固定ウィンドウを再計算した場合と比較して,テスト対象モデル全体の検索を改善することが示された。 次に、この効果がどれくらいまで広がるかを測定し、Muse Glimmer と Mistral 7B が最強の \emph{latent information relay} を示す。 どちらのモデルも、スライディングウインドウの注意を公開アーキテクチャに取り入れており、スライディングウインドウによるトレーニングがより信頼性の高い情報保持を促進するかどうかをテストする動機付けとなっている。

関連論文リスト

• When Can Quantum Extreme Learning Machines Replace Quantum Reservoirs? [2.618653026522731]
  量子貯水池コンピュータ(QRC)は、以前の入力からの情報を保持する一方、リセットウインドウ量子極端学習マシン(QELM)は、最新の入力ウィンドウのみを受信する。 省略された過去の影響が均一に無視される場合,QELMは窓が正確に成長するにつれて,任意の精度で貯水池出力を再現できることを示す。
  論文  参考訳（メタデータ） (2026-09-25T09:23:51Z)
• TransMem: Transforming Hidden States into Memory for Large Language Models [29.656816378992414]
  大規模言語モデル(LLM)エージェントは、長い相互作用履歴を通してますます機能する。 TransMemは、凍結したLCMバックボーンから再利用可能なメモリ表現に変換する。
  論文  参考訳（メタデータ） (2026-07-31T05:11:04Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• WindowQuant: Mixed-Precision KV Cache Quantization based on Window-Level Similarity for VLMs Inference Optimization [50.768455096160984]
  既存の手法では、ビデオ言語モデル(VLM)におけるキー値(KV)キャッシュに対する混合精度量子化が提案されている。 本稿では,KVキャッシュの最適化にウィンドウ適応型混合精度量子化を用いるWindowQuantという新しい手法を提案する。 WindowQuantは、さまざまなデータセット上で最先端のVLMモデルとKVキャッシュ量子化手法より優れている。
  論文  参考訳（メタデータ） (2026-05-04T06:17:13Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
  大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。 ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。