論文の概要: Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs

• arxiv url: http://arxiv.org/abs/2608.30310v1
• Date: Mon, 31 Aug 2026 06:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.25524
• Title: Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
• Title（参考訳）: タイルリプレイ:ハイブリッドLCM用プリフィックスキャッシングにおけるリニアアテンション曲線の回避
• Abstract要約: 制約のないトークンレベルのプレフィックス再利用を可能にするプレフィックスキャッシュ機構であるTail-Replayを提案する。 我々は,LongBench と RULER ベンチマークを用いて,Gated DeltaNet をベースとした3つのハイブリッドモデル上でのTail-Replay の評価を行った。
• 参考スコア（独自算出の注目度）: 5.5444120195759785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid large language models interleave full-attention layers with linear-attention layers to reduce the cost of long-context inference. This structure complicates prefix caching: full-attention key-value caches are token-addressable, whereas linear-attention layers maintain recurrent states that cannot be rolled back to arbitrary prefix boundaries. Existing hybrid prefix caching methods address this mismatch by storing recurrent-state checkpoints. As a result, token-level matches are directly usable only at positions aligned with stored checkpoints, constraining prefix reuse to a discrete set of boundaries. We present Tail-Replay, a prefix caching mechanism that enables unconstrained token-level prefix reuse in hybrid large language models. The key insight is that linear-attention mechanisms such as Gated DeltaNet can be viewed as a structured, lossy compression of the input prefix: gated recurrent updates progressively attenuate the contributions of earlier inputs. Consequently, the recurrent state of a matched prefix can be well approximated by replaying only a short, recent suffix of that prefix. Tail-Replay exploits this property by caching the exact full-attention key-value cache while omitting recurrent-state checkpoints. On a cache hit, it reconstructs the linear-attention states by replaying a short, recent suffix of the matched prefix. As a result, the reuse boundary is determined by the shared tokens rather than by recurrent-state checkpoints. We evaluate Tail-Replay on three Gated DeltaNet-based hybrid models using the LongBench and RULER benchmarks. With only a 5--10\% replay budget, it retains 92.8--99.9\% of full-prefill quality on LongBench and RULER. For serving efficiency, we evaluate time-to-first-token speedups across multiple matched-prefix lengths---8K, 16K, and 32K. The speedup grows with prefix length, reaching $9.1$--$14.3\times$ over full prefill at 32K.
• Abstract（参考訳）: ハイブリッドな大規模言語モデルは、長いコンテキスト推論のコストを削減するために、完全なアテンション層と線形アテンション層をインターリーブする。 この構造はプレフィックスキャッシュを複雑にしている: フルアテンションキーバリューキャッシュはトークン適応可能であるが、リニアアテンションレイヤは任意のプレフィックス境界にロールバックできないリカレントステートを保持する。 既存のハイブリッドプレフィックスキャッシュメソッドは、リカレントステートチェックポイントを格納することで、このミスマッチに対処する。 その結果、トークンレベルのマッチは、格納されたチェックポイントと整合した位置にのみ直接使用することができ、プレフィックスの再利用を独立した境界セットに制限する。 本稿では,ハイブリッド大規模言語モデルにおいて,制約のないトークンレベルのプレフィックスを再利用可能なプレフィックスキャッシング機構であるTail-Replayを提案する。 重要な洞察は、Gated DeltaNetのような線形アテンション機構は、入力プレフィックスの構造化された、損失の多い圧縮と見なせることである。 これにより、その接頭辞の短い最新の接尾辞のみを再生することにより、一致した接頭辞の反復状態を適切に近似することができる。 Tail-Replayは、リカレントステートチェックポイントを省略しながら、正確なフルアテンションキーバリューキャッシュをキャッシュすることで、このプロパティを利用する。 キャッシュヒットでは、一致したプレフィックスの短い最新の接尾辞を再生することで、リニアアテンション状態を再構築する。 その結果、再利用境界は再帰状態チェックポイントではなく共有トークンによって決定される。 我々は,LongBench と RULER ベンチマークを用いて,Gated DeltaNet をベースとした3つのハイブリッドモデル上でのTail-Replay の評価を行った。 5-10\%のリプレイ予算しか持たず、LongBenchとRULERの完全なプリフィル品質の92.8--99.9\%を維持している。 効率向上のために,複数のマッチしたプリフィックス長---8K, 16K, 32Kのタイム・ツー・ファーストのスピードアップを評価し,プレフィックス長で9.1$--14.3\times$ over full prefill at 32K。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
  本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。 固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
  論文  参考訳（メタデータ） (2026-07-10T18:28:21Z)
• Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning [51.563653495547335]
  マルチモーダル推論は、マルチステップ生成中に視覚的証拠を再考することによって、視覚的接地を改善する。 再生不要な視覚的再考のためのキャッシュレベルフレームワークであるPlace Rebinding Cache Reuse (PRCR)を提案する。 PRCRはリプレイレベルまたはパフォーマンスの向上を実現し、平均精度を5%向上し、視覚的再考を最大数万倍削減する。
  論文  参考訳（メタデータ） (2026-06-25T05:47:52Z)
• CacheWeaver: Cache-Aware Evidence Ordering for Efficient Grounded RAG Inference [4.3361375690943795]
  vLLMのようなサービスエンジンのプリフィックスキャッシュは、リクエストが同じトークンプレフィックスを共有する場合にのみ、このコストを削減する。 キャッシュ対応エビデンスオーダの軽量なプロンプト層手法であるCacheWeaverを提案する。
  論文  参考訳（メタデータ） (2026-06-18T00:38:46Z)
• miniReranker: Efficient Multimodal Reranking through Visual Cache Reuse and Interaction Sparsity [21.54829080388454]
  MLLM(Multimodal large language model)は、最近ポイントワイド・リランカとして大きな可能性を示している。 しかし、ポイントワイドリグレードは、クエリーとドキュメントのペア間で大幅に繰り返される計算に悩まされる。 本稿では,キャッシュ再利用の効率化と性能の見直しを両立させる,$textitvision-first$の定式化を提案する。
  論文  参考訳（メタデータ） (2026-06-09T12:11:02Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Requests of a Feather Must Flock Together: Batch Size vs. Prefix Homogeneity in LLM Inference [2.752817022620644]
  大規模言語モデルにおける自動回帰トークン生成には、すべての前のトークンのキーと値テンソル(KVキャッシュ)を"到着"する必要がある。 以前の作業は、複数のリクエストを合わせて、このデコードプロセスの効率を改善することを目的としていた。 高速なプレフィックス検出と効率的な要求選択を可能にする軽量なデータ構造であるChunked Hash Tree(CHT)を紹介する。
  論文  参考訳（メタデータ） (2026-05-07T11:34:10Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
  重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。 リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。 正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
  論文  参考訳（メタデータ） (2026-04-17T09:24:58Z)
• Rectified Sparse Attention [61.7702154360081]
  効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。 本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。 数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-04T16:01:48Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。