論文の概要: Memory as a cache: Exact context reuse and deletion by construction

• arxiv url: http://arxiv.org/abs/2609.32395v1
• Date: Sat, 26 Sep 2026 09:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:33:22.046235
• Title: Memory as a cache: Exact context reuse and deletion by construction
• Title（参考訳）: キャッシュとしてのメモリ: コンテキストの再利用と構築による削除
• Abstract要約: SMemはコンテキスト表現が構成によるキャッシュであるアーキテクチャである。 パラメータ設定ごとに、メモリは固定ブロックインデックスで正確に構成される。 SMemは、訓練された長さの窓の向こうに植えられた針を回収する。
• 参考スコア（独自算出の注目度）: 4.786611571014576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The KV cache of a transformer entangles every token's representation with its entire prefix: a passage encoded once cannot be reused under a different prefix or removed without recomputing everything after it, so exact cache reuse is limited to shared prefixes. We present SMem, an architecture whose context representation is a cache by construction. A block-local encoder maps each block to memory rows independently of other blocks, and a reader conditions generation on their union through cross-attention. For every parameter setting, memory composes exactly at fixed block indices, deleting a block is an exact $O(b)$ update for $b$-token blocks, and the memory state is independent of the edit path. At $4\times$ the training context, under the shared recipe, SMem retrieves planted needles beyond any trained-length window (exact match 0.14-0.28 at distances of 31 and 63 blocks), where learned-position, RoPE, and Block-Attention-style transformers all score at most 0.02. A fully cached context is served by computing one block alone at a near-constant 3.1-6.2 ms, whereas cold prefill grows with context; batched decode stores 34-38% fewer KV rows and runs 1.4-1.7$\times$ faster when bandwidth-bound; and deletion beats suffix recomputation by 8.5$\times$ at 512 blocks and 452$\times$ at 4096 blocks (32-256$\times$ the trained length, probing the cost model rather than a served regime). The cost is a perplexity gap of -4.7% to +2.8% (negative favors SMem) against a parameter-matched transformer with the same positional scheme, at 160M-1.5B on FineWeb-Edu across two recipes and a learning-rate search. SMem also composes with RoPE: at 160M and 410M the composite matches or leads the matched transformer and closes 29-59% of SMem's gap to a RoPE transformer. Dropping prefix entanglement thus keeps perplexity comparable while making the cache exactly composable and editable.
• Abstract（参考訳）: トランスフォーマーのKVキャッシュは、すべてのトークンの表現をすべてのプレフィックスで絡み合わせる:一度エンコードされたパスは、異なるプレフィックスの下で再利用することはできず、その後すべてを再計算することなく削除されるため、正確なキャッシュ再利用は共有プレフィックスに限られる。 SMemは、コンテキスト表現が構成によるキャッシュであるアーキテクチャである。 ブロックローカルエンコーダは、各ブロックを他のブロックとは独立にメモリ行にマッピングし、読み手は、クロスアテンションを介してユニオンに生成する。 メモリは固定ブロックインデックスで正確に構成され、ブロックの削除は$O(b)$ update for $b$-token blockで、メモリ状態は編集パスとは独立している。 トレーニングコンテキストの$4\times$は、共有レシピの下で、SMemはトレーニングされた長さの窓(31ブロックと63ブロックの距離で0.14-0.28と一致する)を越えて、植えられた針を検索し、学習位置、RoPE、Block-Attentionスタイルのトランスフォーマーをそれぞれ0.02点以上獲得する。 完全にキャッシュされたコンテキストは、1ブロックを3.1-6.2ms近くで計算することで実現されるが、コールドプリフィルはコンテキストによって増大する; バッチデコードでは34-38%のKV行を保存し、帯域幅が制限されたときに1.4-1.7$\times$を高速に実行する; 削除はサフィックス再計算を8.5$\times$を5ブロックで、452$\times$を4096ブロックで計算する(32-256$\times$)。 コストは、4.7%から+2.8%(SMemに有利)のパープレキシティギャップであり、同じ位置スキームを持つパラメータマッチングトランスフォーマーに対して、2つのレシピと学習率検索でFinWeb-Edu上の160M-1.5Bである。 SMemは160Mと410Mで、合成された変換器にマッチまたはリードし、SMemのギャップの29～59%をRoPE変換器に閉じる。 これにより、ドロッププレフィックスの絡み合いは、キャッシュを正確に構成可能で編集可能にしながら、パープレキシティを同等に保ちます。

関連論文リスト

• Fixed State, Long Reach: What a Constant-Size Cache Buys Block Diffusion at Scale [18.318746660954663]
  ブロック拡散はブロックバイブロックを復号することでキャッシュを復元する。 我々はこのレシピを大規模に研究し,300Bトークン上に3つの3Bブロック拡散復号器を事前学習した。
  論文  参考訳（メタデータ） (2026-09-09T23:37:47Z)
• PatchKV: Efficient KV Cache Recovery for Dynamically Edited LLM Contexts [24.13656412709201]
  PatchKVは、サフィックス保存リビジョンのためのプロファイル誘導リカバリシステムである。 オフライン長条件ドリフトモデルを用いて、編集ローカルな汚れ領域を予測する。 保存された注意から選択された緩やかな非局所ブロックでこの領域を拡大し、それらのユニオンを固定された修復セットにブロックする。
  論文  参考訳（メタデータ） (2026-08-18T11:17:02Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection [0.0]
  ステートスペースモデル(SSM)は、建設によるプレフィルコストを回避する。 文書コーパスをSSM隠蔽状態としてオフラインでプリエンコードする。 プリフィルレイテンシは、エッジハードウェアで$sim$27 sから$6 msに削減される。
  論文  参考訳（メタデータ） (2026-08-03T17:43:36Z)
• RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
  Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
  論文  参考訳（メタデータ） (2026-06-23T00:17:48Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• Echo: KV-Cache-Free Associative Recall with Spectral Koopman Operators [45.88028371034407]
  スペクトルクープマン注意(SKA)を中心に構築されたKV-cacheフリー連想リコールアーキテクチャ 我々は、SKA(Spectral Koopman Attention)を中心に構築されたKV-cacheフリーな連想型リコールアーキテクチャであるEchoを紹介する。
  論文  参考訳（メタデータ） (2026-05-07T22:26:27Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
  大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。 我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
  論文  参考訳（メタデータ） (2025-12-31T04:19:33Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。