論文の概要: PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention
- arxiv url: http://arxiv.org/abs/2609.33746v1
- Date: Sun, 27 Sep 2026 16:47:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 17:05:06.863809
- Title: PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention
- Title（参考訳）: PQ-HSA:ハイブリッドスパース近似注意のための製品品質スコアの再利用
- Abstract要約: PQ-HSAは選択したトークンに元のキーと値で出席する。
Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
- 参考スコア（独自算出の注目度）: 31.05085292228752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: At each decoding step a language model attends over the key-value (KV) cache of every earlier token, so at long context the attention call is bounded by memory bandwidth. Sparse attention reads only a subset of keys chosen by a cheap score estimate, and most methods give the unread tokens zero weight. The output then draws on only a small fraction of the KV cache, and accuracy drops at small budgets, most on tasks that aggregate information across the context. An inverted-file product-quantization (IVF-PQ) index over the cached keys computes an approximate score for every indexed token in order to rank them; after ranking, those scores approximate the attention logits of the tokens left out. PQ-HSA (hybrid sparse-approximate attention) attends the selected tokens with their original keys and values, and the unselected tokens, the background, enter the same softmax through those scores, summed per inverted list and multiplied by the list's mean value. At 128K and a 1-2% retrieval budget, PQ-HSA is more accurate than Quest and SnapKV on Llama-3.1-8B and Qwen3-30B-A3B and stays close to full attention in macro accuracy; with the same selector, the background term raises macro accuracy on the 8B model from 0.71 to 0.83. In the same 128K setting, inside vLLM on one NVIDIA H20, the decode attention call runs 1.6x faster than the FlashAttention-3 kernel; the speedup grows with context length, and a cost model fitted on 8B to 30B models gives the context length at which it begins. A vLLM plugin runs PQ-HSA on two engine versions without changes to the engine source; code is available at https://github.com/KunmingSHAO/pqhsa_release.
- Abstract（参考訳）: 各デコードステップでは、言語モデルが前のトークンのキー値(KV)キャッシュに付随するため、長いコンテキストでは、アテンションコールはメモリ帯域幅によってバウンドされる。
スパースアテンションは、安価なスコア推定によって選択されたキーのサブセットのみを読み出し、ほとんどのメソッドは未読トークンをゼロウェイトにする。
出力はKVキャッシュのごく一部で描画され、精度は小さな予算で低下する。
キャッシュされたキー上の逆ファイル製品量化(IVF-PQ)インデックスは、インデックスされたトークンごとに近似スコアを算出してランク付けする。
PQ-HSA (hybrid sparse-approximate attention) は選択したトークンに元のキーと値で参加し、未選択のトークンであるバックグラウンドはこれらのスコアを通して同じソフトマックスを入力し、逆リスト毎に合計し、リストの平均値に乗算する。
128Kと1-2%の検索予算で、PQ-HSAは、Llama-3.1-8BとQwen3-30B-A3BのQuestやSnapKVよりも正確であり、マクロ精度に完全に注目している。
同じ128K設定では、1つのNVIDIA H20上のvLLM内では、デコードアテンションコールがFlashAttention-3カーネルよりも1.6倍速く動作し、スピードアップはコンテキスト長で増加し、コストモデルは8Bから30Bモデルに適合する。
vLLMプラグインはエンジンソースを変更することなく2つのエンジンバージョンでPQ-HSAを実行する。
関連論文リスト
- SANTA++: Sampling Attention through Representative Keys [2.7829711041633445]
SANTA++は、キー値(KV)キャッシュ全体をスキャンすることなく、メモリ効率の選択に代表キーを使用する、トレーニング不要のアテンションメソッドである。
サンプルチーム内の正確な注意スコアを計算し、各チームの貢献度を、その包含確率の逆で再評価します。
32ないし64のサンプルチームで、SANTA++は集中注意のKV読み出しの16%から22%を使用し、集中注意ベースラインのスコアの94%から99%を維持している。
論文 参考訳（メタデータ） (2026-09-28T17:00:30Z) - Language Models Can Control Their Own Attention [42.07765767561011]
宣言的意図(DA:Declarative Attention)は、モデルにそのチェーン内のどこに出席すべきかを宣言するプロトコルである。
DAはデコード中の総出席トークン(52.0%、31.1%)を大幅に削減し、モデルスケールで縮小する程度の精度低下(1.27pp、2.75pp)を行う。
論文 参考訳（メタデータ） (2026-09-02T15:43:38Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。
これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。
128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
論文 参考訳（メタデータ） (2026-06-23T00:17:48Z) - SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers [38.620985085871034]
SpotAttentionは、最大128Kトークンのコンテキストで、トレーニングの長さの8倍の精度で一致します。
セレクタのKキャッシュをINT4またはFP4マイクロスケールに量子化すると、正確さなしで3.5倍縮小する。
論文 参考訳（メタデータ） (2026-06-22T05:39:12Z) - MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference [75.41426145782751]
本稿では,DSAインデクサのリプレースとして,インデクサヘッドをエキスパートの混合プールとして扱うDSAインデクサを提案する。
MISAはロングベンチの密度の高いDSAインデクサとDeepSeek-V3.2とGLM-5で一致し、それぞれ8倍と4倍のインデクサヘッドで動作している。
私たちのTileLangカーネルは、単一のNVIDIA H200 GPU上で、DSAのオリジナルのインデクサカーネルの約3.82倍のスピードアップを実現しています。
論文 参考訳（メタデータ） (2026-05-08T07:19:34Z) - LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。
異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。
キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
論文 参考訳（メタデータ） (2026-04-13T20:53:51Z) - HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention [62.79085204939384]
HISA (Hierarchical Indexed Sparse Attention) は、平らなトークンスキャンから2段階の階層的な手順に検索パスを書き換える。
カーネルレベルのベンチマークでは、HISAは64Kコンテキストでの高速化を実現している。
論文 参考訳（メタデータ） (2026-03-30T13:59:51Z) - Block Sparse Flash Attention [29.499030734003952]
Block-Sparse FlashAttentionはFlashAttentionの代替になる。
クエリキーの正確な類似性を計算し、クエリ毎に最上位の最も重要な値ブロックを選択する。
実世界の推論ベンチマークで最大1.10倍のスピードアップを実現し、最大1.24倍のニードル・イン・ア・ヘイスタック検索タスクを実現している。
論文 参考訳（メタデータ） (2025-12-07T21:20:12Z) - Efficient Low Rank Attention for Long-Context Inference in Large Language Models [41.24530756499533]
低ランククエリとキーアテンション(LRQK)は、プリフィル段階で、完全精度クエリとキー行列をコンパクトなランク-(r)要素に分解するフレームワークである。
トップ(k)トークンと、最近のトークンの小さな固定セットだけを選択することで、LRQKは、完全に精度の低いKVペアだけを転送するヒットアンドミス機構を備えた混合GPU-CPUキャッシュを使用する。
論文 参考訳（メタデータ） (2025-10-25T11:43:27Z) - Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。
KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。
ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
論文 参考訳（メタデータ） (2025-09-13T03:34:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。