Fugu-MT 論文翻訳(概要): Just Let Linear States Forget the Distant Past: Prefix Caching via Suffix Replay for Hybrid LLMs

論文の概要: Just Let Linear States Forget the Distant Past: Prefix Caching via Suffix Replay for Hybrid LLMs

arxiv url: http://arxiv.org/abs/2609.33477v1
Date: Sun, 27 Sep 2026 11:43:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-05 16:28:33.454385
Title: Just Let Linear States Forget the Distant Past: Prefix Caching via Suffix Replay for Hybrid LLMs
Title（参考訳）: リニアステートに距離のある過去を忘れさせる:ハイブリッドLLMのサフィックスリプレイによるキャッシング
Abstract要約: ハイブリッドLLMは、長いコンテキスト推論コストを削減するために、リニアアテンション層とフルアテンション層をインターリーブする。フルアテンションKVキャッシュはトークン対応可能であるが、リニアアテンションレイヤは任意の接頭辞境界にロールバックできないリカレントステートを保持する。 SuffixReplayは、LLMがキャッシュをサポートするすべてのページ境界でキャッシュされたプレフィックスを再利用できるようにする最初のプレフィックスキャッシュシステムである。
参考スコア（独自算出の注目度）: 43.43808797326695
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hybrid LLMs interleave full-attention layers with linear-attention layers to reduce long-context inference cost, but this structure complicates prefix caching. Full-attention KV caches are token-addressable, whereas linear-attention layers maintain recurrent states that cannot be rolled back to arbitrary prefix boundaries. Existing systems materialize recurrent-state checkpoints, restricting prefix reuse to checkpoint-aligned positions. We present SuffixReplay, the first prefix caching system that lets hybrid LLMs reuse cached prefixes at every cache-supported page boundary without materializing recurrent-state checkpoints. Our key insight is to just let linear states forget the distant past. Modern linear-attention mechanisms use recurrent decay and gating to attenuate the influence of old inputs. Therefore, instead of checkpointing every prefix boundary, SuffixReplay approximates the state at a matched boundary by replaying only a recent suffix of the layer's input hidden states, which we retain as anchors. At the algorithmic level, SuffixReplay combines layer-wise and token-wise anchor sparsity with a bounded replay budget to control storage, computation, and quality. At the system level, it uses an independently managed anchor sidecar and a pipelined replay path to overlap anchor movement and state reconstruction with the native serving pipeline. We evaluate SuffixReplay on three hybrid LLMs: OLMo-Hybrid-7B, Qwen3.5-4B, and Qwen3.6-27B-FP8. Across these models, SuffixReplay retains 91.4-100% of full-prefill quality on average across LongBench and RULER, while using only 0.36-0.51x the amortized per-token storage of SGLang's default 8192-token checkpoint cache. Integrated into SGLang, SuffixReplay reduces median TTFT by 15-70% on branching workloads, sustains 2.3-4.3x SGLang's throughput when the working set exceeds HBM, and matches SGLang on high-hit continuation traffic.
Abstract（参考訳）: ハイブリッドLLMは、長いコンテキスト推論コストを削減するために、リニアアテンション層とフルアテンション層をインターリーブするが、この構造はプレフィックスキャッシングを複雑にする。フルアテンションKVキャッシュはトークン対応可能であるが、リニアアテンションレイヤは任意の接頭辞境界にロールバックできないリカレントステートを保持する。既存のシステムは、リカレント状態のチェックポイントを具体化し、プレフィックスの再利用をチェックポイント整列位置に制限する。 SuffixReplayは、LLMがキャッシュをサポートするページ境界ごとにキャッシュされたプレフィックスを再利用できる最初のプレフィックスキャッシュシステムであり、リカレント状態チェックポイントを具体化しない。私たちの重要な洞察は、線形状態が遠い過去を忘れることです。現代の線形アテンション機構は、古い入力の影響を弱めるために繰り返し減衰とゲーティングを用いる。従って、すべてのプレフィックス境界をチェックポイントする代わりに、SuffixReplayは、私たちがアンカーとして保持する層の入力隠れ状態の最新の接尾辞のみを再生することで、マッチした境界における状態を近似する。アルゴリズムレベルでは、SuffixReplayはレイヤワイドとトークンワイドのアンカーをバウンドリプレイ予算と組み合わせて、ストレージ、計算、品質を制御する。システムレベルでは、独立して管理されるアンカーサイドカーとパイプライン化されたリプレイパスを使用して、アンカーの動きと状態再構築をネイティブサービスパイプラインとオーバーラップする。 SuffixReplay on three hybrid LLM: OLMo-Hybrid-7B, Qwen3.5-4B, Qwen3.6-27B-FP8。これらのモデル全体では、SuffixReplayはLongBenchとRULERで平均して91.4-100%のフルプリフィル品質を維持し、SGLangのデフォルトの8192トーケンチェックポイントキャッシュの記憶容量は0.36-0.51倍である。 SGLangに統合されたSuffixReplayは、中央のTTFTを分枝ワークロードで15-70%削減し、作業セットがHBMを超えるとSGLangのスループットを2.3-4.3倍維持し、高ヒット連続トラフィックでSGLangとマッチングする。

関連論文リスト

Fixed State, Long Reach: What a Constant-Size Cache Buys Block Diffusion at Scale [18.318746660954663]
ブロック拡散はブロックバイブロックを復号することでキャッシュを復元する。我々はこのレシピを大規模に研究し,300Bトークン上に3つの3Bブロック拡散復号器を事前学習した。
論文参考訳（メタデータ） (2026-09-09T23:37:47Z)
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs [5.5444120195759785]
制約のないトークンレベルのプレフィックス再利用を可能にするプレフィックスキャッシュ機構であるTail-Replayを提案する。我々は,LongBench と RULER ベンチマークを用いて,Gated DeltaNet をベースとした3つのハイブリッドモデル上でのTail-Replay の評価を行った。
論文参考訳（メタデータ） (2026-08-31T06:27:07Z)
LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation [22.878882105342182]
自己回帰ビデオ拡散は、境界付けられた最近の文脈からチャンクを生成する。頻度ベースのキャッシュは、被写体、オブジェクト、シーン、または属性が再び現れるときに必要となる歴史的手がかりを排除します。 LayerRecallは関連するK/V状態を取得し、バックボーン固有のメモリ依存レイヤにのみ注入する。
論文参考訳（メタデータ） (2026-08-28T15:49:13Z)
Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
論文参考訳（メタデータ） (2026-07-28T07:04:32Z)
Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
論文参考訳（メタデータ） (2026-05-15T19:33:45Z)
Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
論文参考訳（メタデータ） (2026-04-17T09:24:58Z)
StepCache: Step-Level Reuse with Lightweight Verification and Selective Patching for LLM Serving [0.0]
StepCacheはバックエンドに依存しないステップレベルの再利用レイヤで、出力を順序付けられたステップに分割します。 StepCacheは、選択的パッチによって失敗したリージョンのみを再生する。平均レイテンシは2.13秒から0.67秒、中央レイテンシは2.42秒から0.01秒、p95レイテンシは3.38秒から3.30秒に減少する。
論文参考訳（メタデータ） (2026-03-24T17:19:26Z)
Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
論文参考訳（メタデータ） (2025-11-26T03:26:37Z)
On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
論文参考訳（メタデータ） (2025-06-11T01:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。