論文の概要: Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels

• arxiv url: http://arxiv.org/abs/2610.36520v1
• Date: Tue, 27 Oct 2026 02:22:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.46614
• Title: Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
• Title（参考訳）: KVキャッシュを標準カーネル上で動作させるキーへのアテンションバイアスのフォールディング
• Abstract要約: Attention Matching (AM)は、KVキャッシュを圧縮し、いくつかのキーをヘッドに保持し、値を調整し、キーのロジットにバイアスを加える。 バイアスを1ヘッドあたり1つの閉じた方向に沿ってキーに折り畳み、コンテキストクエリに適合し、AMサイズとヘッドディメンションの平易なキャッシュを提供します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention Matching (AM) compacts a KV cache by keeping some keys per head, refitting their values and adding a bias to each kept key's logit. FlashAttention and vLLM's paged caches have no input for it. We fold the bias into the keys along one closed-form direction per head, fitted on context queries, giving a plain cache with AM's size and head dimension and the model's own query path; the output error is bounded by how far each query's projection on that direction is from 1. With equal per-head budgets, unmodified vLLM serves folded caches through a KV connector, matching Hugging Face's answers on all 51 Qwen3-4B questions and its greedy output on 180 of 200 Qwen3-14B LongBench samples. With equal budgets on QuALITY (Qwen3-1.7B, 4B, 8B, Llama-3.1-8B) and LongHealth (three Qwen3 models), the fold is within noise of AM's accuracy in 13 of 14 settings, with lower KL to the full cache than dropping the bias in all 12 where both ran. Under the published per-head budgets, on Qwen3-4B, its Instruct-2507 variant and Llama-3.1-8B, it is within noise of AM in 9 of 10, no longer beats dropping the bias in KL, and the two each win once in accuracy.
• Abstract（参考訳）: Attention Matching (AM)は、KVキャッシュを圧縮し、いくつかのキーをヘッドに保持し、値を調整し、キーのロジットにバイアスを加える。 FlashAttentionとvLLMのページキャッシュには入力がない。 我々は、そのバイアスを1ヘッド当たりの閉じた方向に沿ってキーに折り畳み、コンテキストクエリに適合し、AMのサイズと頭次元とモデル独自のクエリパスを持つ平易なキャッシュを与える。 同一の予算で、修正されていないvLLMはKVコネクタを通して折りたたみキャッシュを提供し、51Qwen3-4Bの全ての質問と200Qwen3-14Bのロングベンチサンプルの180のグリージーな出力でHugging Faceの回答と一致する。 Qwen3-1.7B、Qwen3-1.7B、4B、8B、Llama-3.1-8B)とLongHealth(Qwen3モデル3つ)の予算が等しく、この折り畳みは14設定中13設定でAMの精度のノイズの範囲内にあり、KLをフルキャッシュに抑えている。 Qwen3-4B、Instruct-2507、Llama-3.1-8Bでは、10の9でAMのノイズの範囲内であり、KLのバイアスを下げることなく、それぞれが1回精度で勝利する。

関連論文リスト

• Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data [51.56484100374058]
  Mixture-of-Experts (MoE)モデルは、小さなバッチサイズでインタラクティブデコーディング中にメモリからルート付きエクスプロイト重みをロードすることでボトルネックとなる。 チャネル選択はキャリブレーションデータを必要としないことを示す。 3つのスケッチでチャンネルを画面表示し、低ランクマップでスキップされたチャンネルを復元する。
  論文  参考訳（メタデータ） (2026-10-27T15:11:35Z)
• QK-Wanda: Coupling Queries and Keys for Unstructured Pruning [53.657104889705856]
  個々の削除コストによってクエリとキーウェイトをスコアするQK-Wandaを導入する。 我々は,TinyLlama,Llama 2,Llama 3,Qwen2.5の15モデルを対象に,0.5B-72BパラメータにまたがるQKのみのプルーニングを評価した。
  論文  参考訳（メタデータ） (2026-10-01T12:22:44Z)
• PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
  PQ-HSAは選択したトークンに元のキーと値で出席する。 Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
  論文  参考訳（メタデータ） (2026-09-27T16:47:14Z)
• VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs [7.825137277264239]
  キーバリューキャッシュは、Long-context Large Language Model(LLM)推論における主要なメモリボトルネックである。 VarRateはトレーニング不要のKVで、クエリサリエンスによって各トークンに可変低ランクの予算を割り当て、すべてのトークンを非ゼロランクに保つ。 VarRateは4つの設定のうち3つで精度が同等で、全体の1ポイント以内で、プリフィルオーバーヘッドの約8分の1である。
  論文  参考訳（メタデータ） (2026-07-16T23:03:14Z)
• RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
  Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
  論文  参考訳（メタデータ） (2026-06-23T00:17:48Z)
• NestedKV: Nested Memory Routing for Long-Context KV Cache Compression [35.62789874560166]
  NestedKVは、Nested LearningのContinuum Memory SystemにインスパイアされたキーのみのKVキャッシュ圧縮方式である。 マルチタイムスケールのコサイン異常によってトークンをスコアし、その結果のランキングとトレーニング不要な外部学習者を組み合わせる。
  論文  参考訳（メタデータ） (2026-05-26T08:14:39Z)
• HeadQ: Model-Visible Distortion and Score-Space Correction for KV-Cache Quantization [0.0]
  KV-cache量子化器は通常、注意重み付けされた読み出しによってロジットや値を通じてキーを読み取るが、ストレージ空間の再構築を最適化する。 永続的なキャッシュエラーは、モデル可視座標で測定されるべきである。 キーの場合、可視オブジェクトはスコアエラーのモジュロ定数シフトであり、これはキーサイドメソッドであるHeadQで、低ランク残余のサイドコードをキャリブレーション付きクエリベースで格納する。
  論文  参考訳（メタデータ） (2026-05-05T09:34:51Z)
• Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference [54.467557491325046]
  本稿では,注意スコアの前にKVエントリを選択し,明示的な精度制御を行うプリホックスパシティ(PrHS)を提案する。 PrHSは検索オーバーヘッドを90%以上削減し、HShareよりも3倍高い精度で検索できる。 これはLongBenchの平均劣化率を1%以下に抑え、FLOPを約15%減らし、9.9倍のレイテンシと2.8倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-09T07:05:23Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。