論文の概要: LinearKV: One Cached State Suffices for Position-Independent Caching in Hybrid LLMs

• arxiv url: http://arxiv.org/abs/2608.11231v1
• Date: Fri, 31 Jul 2026 02:10:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 01:32:04.587187
• Title: LinearKV: One Cached State Suffices for Position-Independent Caching in Hybrid LLMs
• Title（参考訳）: リニアKV:ハイブリッドLCMにおける位置非依存キャッシングのための1つのキャッチ状態
• Abstract要約: トレーニング不要なハイブリッドPICフレームワークであるLinearKVを紹介する。 線形層の初期化器として,エンフィングルキャッシュ状態が十分であることがわかった。 3つのハイブリッドモデルと3つのPICセレクタを比較した。
• 参考スコア（独自算出の注目度）: 43.666302638883025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM serving is increasingly accelerated by position-independent caching (PIC). Existing PIC methods, however, are built for full-attention models, where a token-indexed KV cache underlies its core operations: matching reusable token chunks, concatenating their KV entries, and selectively recomputing a few tokens to restore cross-chunk context. Hybrid LLMs break these primitives---they replace most attention layers with linear recurrences that expose only a fixed-size state, leaving no token-indexed KV to concatenate or to locally repair. This raises a natural question: can PIC benefit hybrid models, and what would it take? We present LinearKV, a training-free hybrid-PIC framework. Its key insight is a \emph{decoupled initialization}: each linear layer maps its $K$ matched local states to a single initial state, while full-attention layers concatenate their KV as before. LinearKV is therefore compatible with existing PIC methods, reusing their token selection and recomputation as-is. Under this framework, we find that a \emph{single cached state} suffices as the linear layer's initializer. The algebraically principled alternative---composing all $K$ cached states into the exact full-prefix state, as concurrent work HYPIC does---is unnecessary and, on some architectures, even harmful. We compare the two across three hybrid models and three PIC selectors. On the two GDN models the two tie, both recovering most of full quality (up to $92\%$); on the Mamba-2 model, exact composition instead collapses under every selector---under EPIC, for instance, it recovers only $46.6\%$ of full quality, versus $86.8\%$ for a single cached block initializer. A single state initializer is also cheaper, cutting time-to-first-token to $0.46\times$ full prefill versus a further $5$--$17\%$ overhead for exact composition; results hold across LongBench QA and RULER at 8K--32K.
• Abstract（参考訳）: LLMは位置独立キャッシング(PIC)によってますます加速される。 トークンインデックス付きKVキャッシュは、再利用可能なトークンチャンクのマッチング、KVエントリの連結、クロスチャンクコンテキストの復元のためにいくつかのトークンを選択的に再計算する。 ハイブリッドLLMはこれらのプリミティブを破り、ほとんどの注意層を固定サイズの状態のみを公開する線形リカレンスに置き換える。 PICはハイブリッドモデルにメリットがありますか? トレーニング不要なハイブリッドPICフレームワークであるLinearKVを紹介する。 それぞれの線形層は、マッチした局所状態の$K$を1つの初期状態にマッピングし、フルアテンション層は以前のようにKVを連結する。 そのため、LinearKVは既存のPICメソッドと互換性があり、トークンの選択と再計算をそのまま再利用している。 このフレームワークでは、線形層の初期化子として \emph{single cached state} が十分であることがわかった。 代数的に原則化された代替手段-すべての$K$キャッシュされた状態が、同時作業であるHYPICのように、正確に完全なプリフィックス状態にコンパイルされる--は不要であり、一部のアーキテクチャでは有害である。 3つのハイブリッドモデルと3つのPICセレクタを比較した。 2つのGDNモデルでは、どちらもフルクオリティの大部分を回復する(最大9.2 %$)が、Mamba-2モデルでは、正確な構成はセレクタごとに崩壊する(例えばEPICではフルクオリティが46.6 %$、シングルキャッシュブロックイニシャライザが86.8 %$)。 単一状態イニシャライザも安価で、タイム・ツー・ファースト・トーケンを0.46ドルにカットする。

関連論文リスト

• Flash-CNNCap: Capacitance Extraction via Image Mapping [3.790585344640331]
  Flash-CNNCapはCNNベースの抽出器で、空間寄与マップ上でのイメージ・ツー・イメージレグレッションとして全行列キャパシタンス予測を再構成する。 総容量モデルとマスター条件結合モデルはそれぞれ、導体レベルの値に還元された空間マップを予測する。 地図は、ピクセル単位の監督なしに、導体レベルラベルから学習される。
  論文  参考訳（メタデータ） (2026-07-26T22:46:20Z)
• Regularize or Localize: When Training-Time KV-Cache Geometry Pays Under Quantization [7.954260884574662]
  シグレグは3対の種子に対して、隠れ状態のペアワイズ対異方性(英語版)を38%値下げる。 しかし、継続トレーニング中にSigregを直接KとVに適用すると、平均キャッシュ異方性は4つのチェックポイントで94%削減される。
  論文  参考訳（メタデータ） (2026-07-19T01:13:09Z)
• Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
  我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。 SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。 トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
  論文  参考訳（メタデータ） (2026-07-14T18:39:29Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts [32.57334288518084]
  GRPOやDAPOのような現代のRLポストトレーニングメソッドは、共有プロンプトからサンプリングされた$R$トークンの$N$レスポンスシーケンスでトレーニングする。 標準FlashAttentionは、すべての$P$プロンプトトークンを前方と後方の両方で$N回複製する。 トレーニング中に共有プロンプトレプリケーションを排除した最初のFlashカーネルである textDualAttention を提案する。
  論文  参考訳（メタデータ） (2026-05-14T21:11:32Z)
• HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference [23.016627145448467]
  MLLM(Multimodal Large Language Models)は、テキスト、画像、ビデオに対する高度な統一推論である。 各ビジュアル入力は数千のトークンに拡張され、キャッシュはコンテキスト長と線形にスケールする。 一般的な解決策は、固定された予算の下で異なる粒度でキャッシュを圧縮することである。 相補的戦略を3段階に統合したハイブリッドKVキャッシュ圧縮フレームワークであるHybridKVを提案する。
  論文  参考訳（メタデータ） (2026-04-07T13:51:07Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Canonicalizing Multimodal Contrastive Representation Learning [76.15228959754727]
  ここでは,CLIP,SigLIP,FLAVAなどのモデルファミリにおいて,埋め込み空間間の幾何学的関係が存在することを示す。 この発見は、後方互換性のあるモデルアップグレードを可能にし、コストのかかる再埋め込みを回避し、学習された表現のプライバシに影響を及ぼす。
  論文  参考訳（メタデータ） (2026-02-19T18:09:36Z)
• CODA: Repurposing Continuous VAEs for Discrete Tokenization [31.932323809073477]
  textbfCODA(textbfCOntinuous-to-textbfDiscrete textbfAdaptation)は、圧縮と離散化を分離するフレームワークである。 提案手法は,ImageNet 256$times$256ベンチマークにおいて,$mathbf0.43$と$mathbf1.34$を8倍,$16倍の圧縮で,100%のコードブック利用と注目すべき再構成FID(rFID)を実現している。
  論文  参考訳（メタデータ） (2025-03-22T12:59:00Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。