論文の概要: Models Take Notes at Prefill: KV Cache Can Be Editable and Composable

• arxiv url: http://arxiv.org/abs/2606.17107v1
• Date: Sun, 14 Jun 2026 15:31:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.06094
• Title: Models Take Notes at Prefill: KV Cache Can Be Editable and Composable
• Title（参考訳）: モデルがプリフィルに注意:KVキャッシュは編集可能、構成可能
• Abstract要約: プリフィックスキャッシュは、正確に共有されたプレフィックスでのみプリフィルを再利用するので、1つの変更フィールドはダウンストリームキャッシュ全体を無効にする。 しかし、フィールド自身のキー/値ベクトルを上書きし、残りを再利用すると、モデルは古い値に作用する。 4つのモデルファミリに因果的に確立された理由は、プレフィル時にすでにフィールド条件の結論を下流のノートに書いていたからである。 健全なエラトゥムはメモを修正し、チェーン・オブ・シントでフィールドを編集するだけで決定を回復する(1.00 at 8B, 1% 計算)が、CoTがなければ無視される。
• 参考スコア（独自算出の注目度）: 0.3951796994513004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prefix caching reuses prefill only across an exactly shared prefix, so one changed field invalidates the entire downstream cache. Yet overwriting the field's own key/value vectors and reusing the rest leaves the model acting on the old value. The reason, established causally across four model families: at prefill the model has already written the field-conditioned conclusion onto downstream notes; the field's own key/value drives under 1% of the decision. Read as a notebook of memoized conclusions, two capabilities follow. (1) It is editable. A salient erratum amends the notes; and with chain-of-thought, editing the field alone recovers the decision (1.00 at 8B, ~1% compute), while without CoT it is ignored. (2) It is composable. The notes are position-portable, so a precompiled skill can be RoPE-repositioned and spliced into any context, indistinguishable from full recompute (logit cosine 0.90-0.999, twelve models) at O(L) rather than O(L^2) time-to-first-token. A unified edit+compose agent stays decision-identical to recompute at up to 14.9x lower latency. The approach applies to any per-token attention KV cache, validated across scale, quantization, Mixture-of-Experts, and multimodal caches, and extends to several attention variants through small adapters. Because the erratum is append-only, it composes with production prefix caching: in an online vLLM benchmark it keeps the prefix cache-aligned (98.5% hit-rate), cutting p90 time-to-first-token by 53-398x.
• Abstract（参考訳）: プリフィックスキャッシュは、正確に共有されたプレフィックスでのみプリフィルを再利用するので、1つの変更フィールドはダウンストリームキャッシュ全体を無効にする。 しかし、フィールド自身のキー/値ベクトルを上書きし、残りを再利用すると、モデルは古い値に作用する。 その理由は、4つのモデルファミリに因果的に確立されている: モデルのプリフィルでは、すでにフィールド条件付き結論をダウンストリームノートに書き込んでおり、フィールド自身のキー/バリュードライブは決定の1%以下である。 メモ化された結論のノートとして読みなさい。 1)編集可能。 健全なエラトゥムはメモを修正し、チェーン・オブ・シントでフィールドを編集するだけで決定を回復する(1.00 at 8B, ~1% 計算)が、CoTがなければ無視される。 2)構成可能である。 音符は位置対応可能であり、プリコンパイルされた技術は、O(L^2) の時間から1までの時間ではなく、O(L) の完全再計算(logit cosine 0.90-0.999, 12モデル)と区別できないような、いかなる文脈でもRoPE-repositionedおよびsplicedすることができる。 統合編集+構成エージェントは、最大14.9倍のレイテンシで再計算するために決定的に保持される。 このアプローチは、スケール、量子化、Mixture-of-Experts、マルチモーダルキャッシュなど、トーケント毎のKVキャッシュに適用される。 オンラインのvLLMベンチマークでは、プレフィックスのキャッシュ整列(98.5%のヒットレート)を維持し、p90を53-398xにカットする。

関連論文リスト

• Fixed State, Long Reach: What a Constant-Size Cache Buys Block Diffusion at Scale [18.318746660954663]
  ブロック拡散はブロックバイブロックを復号することでキャッシュを復元する。 我々はこのレシピを大規模に研究し,300Bトークン上に3つの3Bブロック拡散復号器を事前学習した。
  論文  参考訳（メタデータ） (2026-09-09T23:37:47Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
  本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。 固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
  論文  参考訳（メタデータ） (2026-07-10T18:28:21Z)
• Leyline: KV Cache Directives for Agentic Inference [0.11099872871193028]
  レイラインはエージェント編集のためのサーブサイドプリミティブである。 宣言的ディレクティブ4タプルは、編集対象と位置正当性を維持する方法とを分離する。 同じインターフェースを介してルーティングされる10行のトランケーション規則は、デバッグジャムにおいてエージェントの解率+14.3 ppを上昇させる。
  論文  参考訳（メタデータ） (2026-05-31T07:13:15Z)
• Nectar: Neural Estimation of Cached-Token Attention via Regression [36.709992864731866]
  固定長コンテキスト上でのソフトマックスアテンションを評価するために,コンパクトニューラルネットワークをどのように利用できるかを示す。 Nectarは、層ごとに2つのネットワークに適合し、KVヘッドは、注意出力を予測するターゲットネットワークと、ログ正規化器を予測するスコアネットワークである。 我々は,5つの長文データセットにまたがる1.7Bから8Bパラメータのモデルについて実験を行った。
  論文  参考訳（メタデータ） (2026-05-10T21:51:36Z)
• HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing [12.303016850029683]
  大規模言語モデルは、展開後に必然的に時代遅れになる膨大な事実知識を符号化する。 1行の作業は、ロケーション・then-edit手順を通じてベースウェイトを直接変更することで、新しい事実をインストールする。 補完ラインはベースウェイトをそのまま残し、外部メモリを通して編集をルーティングするが、ルーティングの課題に直面している。 提案するHoReNは,3つのアイデアに基づいたルーティング機能を備えたコードブックベースのエディタである。
  論文  参考訳（メタデータ） (2026-05-02T15:51:31Z)
• The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference [3.378773775514883]
  キー値(KV)キャッシュは、トランスフォーマー推論において必須の状態として広く扱われる。 各層におけるキーと値が残留ストリームの決定論的射影であることを証明する。 我々は、境界メモリ推論スキームであるKV-Directを用いて、この結果に基づいて構築する。
  論文  参考訳（メタデータ） (2026-03-20T05:59:50Z)
• Deliberation in Latent Space via Differentiable Cache Augmentation [48.228222586655484]
  凍結した大規模言語モデルをオフラインコプロセッサで拡張し,キー値(kv)キャッシュで動作することを示す。 このコプロセッサは、後続の復号化の忠実性を改善するために設計された遅延埋め込みのセットでキャッシュを増強する。 キャッシュが拡張されると、デコーダは多数のトークンに対して低いパープレキシティを達成できることを示す。
  論文  参考訳（メタデータ） (2024-12-23T18:02:25Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• You Only Cache Once: Decoder-Decoder Architectures for Language Models [132.4064488592704]
  大規模言語モデルのためのデコーダ・デコーダアーキテクチャであるYOCOを導入する。 YOCOはキーと値のペアを一度だけキャッシュする。 全体的なモデルはデコーダのみのTransformerのように振る舞うが、YOCOは一度だけキャッシュする。
  論文  参考訳（メタデータ） (2024-05-08T17:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。