Fugu-MT 論文翻訳(概要): CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention

論文の概要: CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention

arxiv url: http://arxiv.org/abs/2607.25291v1
Date: Tue, 28 Jul 2026 04:57:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-29 20:50:42.715377
Title: CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention
Title（参考訳）: CoSA: Proxy-Kernel共設計スパース注意による長期推論の高速化
Abstract要約: 既存の方法はプロキシを使ってバイナリスパースマスクとカーネルを予測し、このマスクを消費し、スパースアテンション計算を実行する。プロキシカーネルCO設計下での2段階のトレーニング不要なスパースアテンションであるCoSAを提案する。 CoSAは4.93$times$ attention speedupを達成し、128Kのコンテキスト長でエンドツーエンドのTime-to-First-Tokenを2.53$times$に削減する。
参考スコア（独自算出の注目度）: 11.994552983272555
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The quadratic cost of self-attention makes long-context inference prohibitively expensive, and proxy-based block-sparse attention has become a practical remedy. Existing methods typically rely on a proxy to predict a binary sparse mask and a kernel to consume this mask and perform sparse attention computation. Such an approach is effective under moderate budgets. However, as the budget tightens, the estimated proxy inevitably drops some salient blocks, while the kernel can only apply the sparse mask mechanically, leading to an evident drop in model accuracy. We propose CoSA, a two-stage training-free Sparse Attention under proxy-kernel CO-design, which couples a Kernel-Aware Proxy (KAP) with an Ordered-Skipping Kernel (OSK). In the first stage, the KAP selects blocks under a moderate budget and produces an ordered mask that prescribes the order in which KV pages are visited in the kernel inner loop. In the second stage, the OSK applies this mask and skips more blocks under a tightened budget given online-softmax statistics. Across mainstream LLM backbones and long-context benchmarks, CoSA attains higher accuracy at lower budgets. Impressively, CoSA achieves a 4.93$\times$ attention speedup and reduces end-to-end Time-to-First-Token by 2.53$\times$ under a context length of 128K with negligible performance degradation.
Abstract（参考訳）: 自己注意の二次的コストは、長期コンテキスト推論を禁止的に高価にし、プロキシベースのブロックスパースアテンションは実用的な対策となっている。既存のメソッドは通常、プロキシを使ってバイナリスパースマスクとカーネルを予測し、このマスクを消費し、スパースアテンション計算を実行する。このようなアプローチは、適度な予算の下で有効である。しかし、予算が引き締められるにつれて、推定されたプロキシは必然的に一定のブロックを落とし、一方カーネルはスパースマスクを機械的にしか適用できないため、モデルの精度は明らかに低下する。本稿では,Kernel-Aware Proxy (KAP) とOrdered-Skipping Kernel (OSK) を結合した,プロキシカーネル CO-Design に基づく2段階のトレーニングフリースパースアテンションを提案する。第1段階では、KAPは、適度な予算の下でブロックを選択し、カーネル内ループでKVページが訪問される順序を規定する順序付きマスクを生成する。第2段階では、OSKはこのマスクを適用し、オンライン・ソフトマックスの統計によると、より厳格な予算の下でより多くのブロックをスキップする。メインストリームのLCMバックボーンと長期コンテキストベンチマークの他、COSAは低予算で高い精度を達成している。印象的なことに、CoSAは4.93$\times$ attention speedupを達成し、128Kのコンテキスト長でエンドツーエンドのTime-to-First-Tokenを2.53$\times$に削減する。

関連論文リスト

CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文参考訳（メタデータ） (2026-09-01T22:49:46Z)
CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文参考訳（メタデータ） (2026-08-31T06:02:37Z)
Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification [1.6916040234975798]
クラミムレベルの不確実性定量化(UQ)は、大規模言語モデル(LLM)の信頼性の欠如を軽減することを目的としている。現実的なホワイトボックス条件下でクレームレベルUQを計算するための軽量なアプローチであるKernel Token Contradiction(KTC)を紹介する。 CPUのみのアプローチでは,最先端のGPUアクセラレーション手法と比較して8.2倍の高速化を実現している。
論文参考訳（メタデータ） (2026-08-23T16:55:02Z)
ReasonAlloc: Hierarchical Decoding-Time KV Cache Budget Allocation for Reasoning Models [51.947287846779545]
ReasonAllocはデコード時のKV圧縮を階層的な予算配分問題として再キャストする。オフラインのレイヤ単位の事前配置戦略は、アーキテクチャ駆動の需要パターンをキャプチャする。オンラインのヘッドワイド戦略は、リアルタイムユーティリティに基づいた情報豊富なヘッドへのデコード中にリソースを再配置する。
論文参考訳（メタデータ） (2026-06-09T17:44:23Z)
You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
論文参考訳（メタデータ） (2026-06-04T17:54:04Z)
Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
論文参考訳（メタデータ） (2026-04-14T08:40:31Z)
SOCKET: SOft Collison Kernel EsTimator for Sparse Attention [25.278711498381494]
長期コンテキスト推論におけるスパシティの爆発は、大規模言語モデルのスケーリングの中心となる。 Locality-Sensitive Hashing (LSH) はスパシフィケーションプリミティブであり、確率的、類似性を認識したアグリゲーションに適合するハードバケットを置き換える。 SOCKETはSoft Collision EsTimatorで、ハードバケットのマッチを確率的、類似性を考慮したアグリゲーションに置き換える。
論文参考訳（メタデータ） (2026-02-06T00:41:44Z)
FASA: Frequency-aware Sparse Attention [56.26881872333624]
本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
論文参考訳（メタデータ） (2026-02-03T06:09:06Z)
Attention Is All You Need for KV Cache in Diffusion LLMs [36.94369617373333]
Elastic-Cacheは、拡散大言語モデルのための適応型層対応キャッシュ更新を実行する。提案手法は,既存の信頼度に基づく手法よりも高いスループット(GSM8Kで6.8時間)を実現する。
論文参考訳（メタデータ） (2025-10-16T17:59:48Z)
Mask Tokens as Prophet: Fine-Grained Cache Eviction for Efficient dLLM Inference [27.2461395361407]
拡散大言語モデル(dLLMs)は、支配的な自己回帰モデル(ARMs)に代わる有望な選択肢を提供する既存のキャッシュ消去戦略はARM向けに設計されており、dLLMのユニークな特性を無視しているため、不満足なパフォーマンスにつながる。トレーニング不要なキャッシュ消去フレームワークであるMaskKVを紹介した。
論文参考訳（メタデータ） (2025-10-10T12:01:16Z)
ProxyAttn: Guided Sparse Attention via Representative Heads [59.03412871683236]
より正確なブロック推定を実現する訓練不要なスパースアテンションアルゴリズムであるProxyAttnを提案する。本稿では,ProxyAttnが最大10.3倍の注意加速度と2.4倍の事前充足加速度を実現できることを示す。
論文参考訳（メタデータ） (2025-09-29T13:10:39Z)
Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing [30.941881811797515]
本稿では,Mixture of Sparse Attention (MoSA)について述べる。 MoSAは、各アテンションヘッドのトークンを動的に選択し、任意のスパースアテンションパターンを可能にする。 MoSAは高密度のベースラインを上回り、時には同じ計算予算に対して最大27%のパープレキシティを持つ。
論文参考訳（メタデータ） (2025-05-01T05:22:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。