論文の概要: COBS: Cumulant Order Block Sparse Attention

• arxiv url: http://arxiv.org/abs/2607.09052v1
• Date: Fri, 10 Jul 2026 02:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.767087
• Title: COBS: Cumulant Order Block Sparse Attention
• Title（参考訳）: COBS:Cumulant Order Block Sparse Attention
• Abstract要約: 注意をブロックすることは、大規模言語モデル(LLM)におけるキー値キャッシュリードボトルネックを軽減するハードウェアフレンドリーな方法である。 我々は、DeepSeekのNative Sparse Attention(NSA)を代表的手法として研究し、その3分岐設計によりブロック選択を分離できる。 選択が最大の注目質量を持つブロックを取り出すと、ブロックのスパース・アテンションは密集したアテンションの質と一致することが示される。
• 参考スコア（独自算出の注目度）: 37.17519877899648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Block sparse attention is a hardware friendly way to alleviate the key-value (KV) cache read bottleneck in large language models (LLMs). However, it is not prevalent among leading open-weight LLMs, which rely instead on dense attention or fine-grained selection, thereby motivating our analysis. We study DeepSeek's Native Sparse Attention (NSA) as a representative method, whose three-branch design lets us isolate block selection, the most challenging and consequential stage. We formalize selection and reduce it to ranking blocks by a single quantity, the attention mass: the sum of a block's attention scores. We show that if selection retrieves the blocks with the largest attention mass, block sparse attention can match the quality of dense attention. However, computing the exact attention mass requires reading every key, so the problem of block selection ultimately reduces to approximating this mass from a compact summary instead of the full keys. Via a cumulant expansion, we show why existing methods falter: their selection strategies attempt to estimate the attention mass, but are confined to a first-order approximation. Therefore, we propose COBS (Cumulant Order Block Sparse Attention), an attention method that builds on NSA, incorporating a novel selector that stores a compressed second-order statistic per block. On the 32k RULER long-context retrieval benchmark, COBS raises the NSA baseline's mean score from 0.2999 to 0.8195, approaching dense attention at 0.9040 and closing about 86% of the gap, while using only 1.21x the KV cache read traffic of the NSA baseline and 15.15x less read traffic than dense. The same model preserves short-context behavior and attains lower position-wise negative log-likelihood (NLL) than dense attention in our comparison.
• Abstract（参考訳）: ブロックスパースアテンション(Block sparse attention)は、大規模言語モデル(LLM)におけるキー値(KV)キャッシュリードボトルネックを軽減するハードウェアフレンドリーな方法である。 しかし、重み付けやきめ細かい選択に頼る主要なオープンウェイトLSMでは一般的ではないため、我々の分析を動機付けている。 我々は、DeepSeekのNative Sparse Attention(NSA)を代表的手法として研究し、その3分岐設計によりブロックの選択を分離できます。 我々は、選択を形式化し、それを1つの量、注目質量、ブロックの注意点の総和でランク付けブロックに還元する。 選択が最大の注目質量を持つブロックを取り出すと、ブロックのスパース・アテンションは密集したアテンションの質と一致することが示される。 しかし、正確な注意質量を計算するには全ての鍵を読み取る必要があるため、ブロック選択の問題は最終的に、全鍵の代わりにコンパクトな要約からこの質量を近似することを減らす。 累積展開によって、既存の手法が不利な理由が示される: 彼らの選択戦略は、注意質量を見積もろうとするが、一階近似に制限される。 そこで我々は, NSA 上に構築した注意法 COBS (Cumulant Order Block Sparse Attention) を提案する。 32k RULERの長文検索ベンチマークでは、COBSはNSAベースラインの平均スコアを0.2999から0.8195に引き上げ、0.9040で集中し、ギャップの約86%を閉じる一方で、NSAベースラインの1.21倍のKVキャッシュ読み取りトラフィックと15.15倍の読み取りトラフィックを使用する。 同じモデルでは, 短文の挙動を保ち, 位置方向の負の対数類似度 (NLL) が, 比較対象よりも低い値となる。

関連論文リスト

• Uncertainty-gated selection for block-sparse attention [0.0]
  ブロックスパースアテンション(Block-sparse attention)は、O(N2)ソフトマックスをキーブロック上のクエリごとのトップk選択に置き換えることで、長いコンテキスト言語モデルをスケールする。 本稿では,各クエリに対して,トップkカットがいかに決定的に行われたかを測定する,情報量ルータを提案する。
  論文  参考訳（メタデータ） (2026-07-04T20:41:42Z)
• Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation [61.19473093799777]
  ブロックアテンションは、Retrieval-Augmented Generation (RAG)のような長期コンテキストシナリオにおけるKVキャッシュの再利用を改善することができる。 しかし、入力テキストを意味のある自己完結ブロックに分割することの難しさと、性能低下のリスクを負う既存のブロック微調整手法の非効率性である。 ブロック微細チューニングよりも効率的な訓練フレームワークであるブロック蒸留を提案し, 凍結したフルアテンション教師モデルを用いて, ブロックアテンション学生を指導する。
  論文  参考訳（メタデータ） (2026-05-15T12:51:32Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference [54.467557491325046]
  本稿では,注意スコアの前にKVエントリを選択し,明示的な精度制御を行うプリホックスパシティ(PrHS)を提案する。 PrHSは検索オーバーヘッドを90%以上削減し、HShareよりも3倍高い精度で検索できる。 これはLongBenchの平均劣化率を1%以下に抑え、FLOPを約15%減らし、9.9倍のレイテンシと2.8倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-09T07:05:23Z)
• Block Sparse Flash Attention [29.499030734003952]
  Block-Sparse FlashAttentionはFlashAttentionの代替になる。 クエリキーの正確な類似性を計算し、クエリ毎に最上位の最も重要な値ブロックを選択する。 実世界の推論ベンチマークで最大1.10倍のスピードアップを実現し、最大1.24倍のニードル・イン・ア・ヘイスタック検索タスクを実現している。
  論文  参考訳（メタデータ） (2025-12-07T21:20:12Z)
• Sparser Block-Sparse Attention via Token Permutation [46.22204775916057]
  本稿では,ブロックレベルの空間性を高めるために,注目の置換特性を活用するプラグイン・アンド・プレイ方式であるPermuted Block-Sparse Attention (textbfPBS-Attn)を提案する。 PBS-Attnは、カスタムのpermuted-FlashAttentionカーネルをベースとして、長文プリフィルで最大2.75タイムのエンドツーエンドのスピードアップを実現しています。
  論文  参考訳（メタデータ） (2025-10-24T09:11:50Z)
• ProxyAttn: Guided Sparse Attention via Representative Heads [59.03412871683236]
  より正確なブロック推定を実現する訓練不要なスパースアテンションアルゴリズムであるProxyAttnを提案する。 本稿では,ProxyAttnが最大10.3倍の注意加速度と2.4倍の事前充足加速度を実現できることを示す。
  論文  参考訳（メタデータ） (2025-09-29T13:10:39Z)
• Block-Attention for Efficient Prefilling [6.916657784681611]
  本稿では,Retrieval-Augmented Generation(RAG)シナリオにおける推論遅延の増加とコストに対処するアテンションメカニズムであるBlock-attentionを紹介する。 各パスをブロックとして定義することで、ブロックアテンションは、これまで見てきたパスのKV状態の再利用を可能にします。 ブロックアテンションは、最初のトークン(TTFT)と浮動小数点演算(FLOP)の時間を極端に低くする。
  論文  参考訳（メタデータ） (2024-09-14T02:34:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。