論文の概要: LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding

• arxiv url: http://arxiv.org/abs/2607.24555v1
• Date: Mon, 27 Jul 2026 15:28:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.477948
• Title: LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding
• Title（参考訳）: LOCKS: ページローカルな長文デコードのためのコンパクトなキーサプリメント
• Abstract要約: LOCKSは、各ページに独自のスペクトル概要を与え、ページ内のログを再構築し、各ページの注目質量をlog-sum-expで推定し、トップページのみに出席する。 LOCKSは、ベースラインセレクタが崩壊する長文推論(AIME26, MATH-500)で最大のマージンを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Serving large language models at long context is bottlenecked by the key-value (KV) cache, which is read in full at every decode step. Attention keys are locally low-rank though globally high-rank: shared low-rank bases discard page-specific directions that a page's own compact basis retains. LOCKS gives every page its own spectral summary (resident, about a tenth the cache's size), reconstructs within-page logits, estimates each page's attention mass by log-sum-exp, and attends only the top pages; selection itself reads no candidate keys or values. Selecting on this summary alone stays within about a point of the full cache on long-document QA (LongBench-v1), tracks the read-every-key oracle on retrieval-dense RULER down to the smallest budgets, and shows its largest margins on long-form reasoning (AIME26, MATH-500), where baseline selectors collapse. At its shipped $2048$-token budget LOCKS matches FullKV aggregate quality at $100$K$+$ context while attending about $2\%$ of the tokens, and halves per-token decode latency ($2.0\times$ at $1$M tokens) against dense attention. LOCKS ships as a drop-in plugin for unmodified vLLM, with batched decode running in full CUDA graphs.
• Abstract（参考訳）: 長いコンテキストで大きな言語モデルを実行するには、キー値(KV)キャッシュがボトルネックになる。 アテンションキーは局所的にローランクであるが、グローバルにハイランクである:共有ローランクベースは、ページ自身のコンパクトベースが保持するページ固有の方向を破棄する。 LOCKSは、各ページに独自のスペクトル概要(キャッシュのサイズの約10分の1)を与え、ページ内のログを再構築し、ログsum-expで各ページの注目質量を推定し、トップページのみに出席する。 この要約だけを選択すれば、長いドキュメントのQA(LongBench-v1)上の全キャッシュの1ポイント以内に留まり、検索高RULER上の全キーのオラクルを最小の予算まで追跡し、ベースラインセレクタが崩壊する長文推論(AIME26, MATH-500)で最大のマージンを示す。 2048ドル(約2万2000円)の予算で、LOCKSはFullKVの総品質を100ドル(約1万2000円)+コンテキストで一致させ、トークンの約2ドル(約2万2000円)の費用を支払った。 LOCKSは未修正のvLLM用のドロップインプラグインとして出荷され、バッチデコードは完全なCUDAグラフで実行される。

関連論文リスト

• WnW: Waxing-and-Waning KV Cache for Long-Form Speech LLMs [60.6692467625441]
  Waxing-and-Waning KVキャッシュはKVヘッドをオフラインキャリブレーションによってアンカー、タイダル、固定ロールに分類する。 3Bバックボーンが2つあるLibri-Speechでは、WnWはほぼフルキャッシュの精度を維持しながら、プリフィルオンリーのベースラインが終了しないGPU上のオーディオトークンの20%しか保持しない。
  論文  参考訳（メタデータ） (2026-08-24T01:48:30Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• Structured Layout Priors for Robust Out-of-Distribution Visual Document Understanding [5.523397739244399]
  VLM(Vision-Language Models)は、ドキュメントをエンドツーエンドで解析するが、トレーニングで見られるものとは異なり、頻繁にレイアウトを分解する。 デコーダがコンテンツを抽出する前に、まずレイアウトエンティティを分類し、ローカライズする必要があります。 我々は、軽量RT-DETR検出器を実行し、ネイティブDocTags語彙で出力をシリアライズすることで、デコーダの外でHop 1をプリリゾルトする。
  論文  参考訳（メタデータ） (2026-05-19T13:58:24Z)
• Nectar: Neural Estimation of Cached-Token Attention via Regression [36.709992864731866]
  固定長コンテキスト上でのソフトマックスアテンションを評価するために,コンパクトニューラルネットワークをどのように利用できるかを示す。 Nectarは、層ごとに2つのネットワークに適合し、KVヘッドは、注意出力を予測するターゲットネットワークと、ログ正規化器を予測するスコアネットワークである。 我々は,5つの長文データセットにまたがる1.7Bから8Bパラメータのモデルについて実験を行った。
  論文  参考訳（メタデータ） (2026-05-10T21:51:36Z)
• ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval [58.575695990976136]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて優れたパフォーマンスを示している。 LLMは、最終的な答えに到達する前に、長い中間的思考を生成する必要があることが多い。 我々は,LLMが動詞の推論思考を要約に適応的に圧縮することを可能にする新しいアプローチであるZoomRを紹介する。
  論文  参考訳（メタデータ） (2026-04-13T02:00:35Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• Efficient Low Rank Attention for Long-Context Inference in Large Language Models [41.24530756499533]
  低ランククエリとキーアテンション(LRQK)は、プリフィル段階で、完全精度クエリとキー行列をコンパクトなランク-(r)要素に分解するフレームワークである。 トップ(k)トークンと、最近のトークンの小さな固定セットだけを選択することで、LRQKは、完全に精度の低いKVペアだけを転送するヒットアンドミス機構を備えた混合GPU-CPUキャッシュを使用する。
  論文  参考訳（メタデータ） (2025-10-25T11:43:27Z)
• ILRe: Intermediate Layer Retrieval for Context Compression in Causal Language Models [4.951427498576812]
  ILRe(Intermediate Layer Retrieval)と呼ばれる新しいコンテキスト圧縮パイプラインを導入する。 ILReは、チャンクされたプリフィルをその層にだけストリーミングすることでコンテキストをエンコードし、入力クエリと指定された層のフルキーキャッシュの間のアテンションスコアによってトークンをリコールする。 追加のポストトレーニングやオペレータ開発がなければ、ILReは100万ドルのトークン要求を30分以内で処理できる。
  論文  参考訳（メタデータ） (2025-08-25T10:59:02Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• BUZZ: Beehive-structured Sparse KV Cache with Segmented Heavy Hitters for Efficient LLM Inference [2.3587921104010756]
  推論速度を高めつつキャッシュメモリ使用量を最小限に抑える新しいKVキャッシュアルゴリズムであるBUZZを提案する。 BUZZはビーハイブ構造化スパースキャッシュを採用し、スライディングウィンドウを組み込んで最近の情報をキャプチャする。 CNN/Daily Mail, XSUM, Wikitext, 10-QAの4つの実世界のデータセット上でBUZZを評価する。
  論文  参考訳（メタデータ） (2024-10-30T14:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。