論文の概要: DoSA: Dots Sparse Attention

• arxiv url: http://arxiv.org/abs/2610.13990v1
• Date: Sat, 26 Sep 2026 17:26:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:39:36.176127
• Title: DoSA: Dots Sparse Attention
• Title（参考訳）: DoSA: Dots Sparse Attention
• Abstract要約: DoSA(Dots Sparse Attention)は、すべてのキーをインデクサヘッドでスコアする手法である。 トップKの選択は、必ずしも完全なスコアではなく、候補者を拒絶する十分な証拠を必要とする。 当社のGPU実装では、SGLangで2.74倍、LiteTopKで1.69倍、英語、中国語、コードワークロードでIndexerを高速化しています。
• 参考スコア（独自算出の注目度）: 5.0204102143919656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse attention visits few keys, yet finding them can still require scoring every key with every indexer head. We introduce DoSA (Dots Sparse Attention), a lossless method for making this computation conditional while preserving exact token selection. Its central observation is that Top-K selection requires sufficient evidence to reject a candidate, not necessarily its full score. A seed set supplies a lower bound on the winning threshold. Nonnegative head projections and joint residual bounds upper-bound positive contributions, while activation-informed aggregation bounds the magnitude subtracted by negative heads. The certificate directs full scoring toward candidates that remain eligible; exact-score filtering further reduces writeback and selection work. We establish the certificate and its exact-selection conditions, and analyze how geometry and selection margins govern its effectiveness. Our GPU implementation accelerates the complete Indexer by up to 2.74 times over SGLang and 1.69 times over LiteTopK across English, Chinese, and code workloads. End-to-end evaluation on GLM-5.2 and DeepSeek-V3.2 achieves up to 1.94 times and 1.50 times time-to-first-token speedups over the two baselines, respectively.
• Abstract（参考訳）: わずかな注意が数個のキーを訪問するが、それらを見つけるには、すべてのキーをインデクサヘッドでスコア付けする必要がある。 本研究では,DoSA(Dots Sparse Attention)を提案する。 その中心的な見解は、トップKの選択は、必ずしも完全なスコアではなく、候補者を拒絶するために十分な証拠を必要とすることである。 シードセットは、勝利閾値の低いバウンドを供給する。 非負の頭部投影と結合残差は上界正の寄与であり、アクティベーションインフォームドアグリゲーションは負の頭部によって引かれる大きさを束縛する。 この証明書は、資格を有する候補に対して完全なスコア付けを指示し、正確なスコアフィルタリングにより、書き込みと選択作業はさらに削減される。 証明とその厳密な選択条件を確立し、幾何と選択マージンがその有効性をどのように管理するかを分析する。 当社のGPU実装では、SGLangで2.74倍、LiteTopKで1.69倍、英語、中国語、コードワークロードでIndexerを高速化しています。 GLM-5.2とDeepSeek-V3.2のエンドツーエンド評価は、それぞれ2つのベースライン上での1.94倍と1.50倍のタイム・ツー・ファーストのスピードアップを達成する。

関連論文リスト

• Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study [0.36013539748644224]
  プロンプトは1つの目標メトリックを上げるプロンプトを書き直しますが、メトリックが得点しない状態要件も示します。 事前登録された調査では、HotpotQA、SQu 2.0、IFEval上でGEPA、MIPROv2、TextGradを実行し、未承認要件のイテム単位の違反をカウントします。 事前登録された基準により、3つのプロンプトは全て、ほぼHotpotQA上で回帰を生成する。
  論文  参考訳（メタデータ） (2026-10-09T09:38:51Z)
• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
  PQ-HSAは選択したトークンに元のキーと値で出席する。 Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
  論文  参考訳（メタデータ） (2026-09-27T16:47:14Z)
• HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention [62.79085204939384]
  HISA (Hierarchical Indexed Sparse Attention) は、平らなトークンスキャンから2段階の階層的な手順に検索パスを書き換える。 カーネルレベルのベンチマークでは、HISAは64Kコンテキストでの高速化を実現している。
  論文  参考訳（メタデータ） (2026-03-30T13:59:51Z)
• Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference [54.467557491325046]
  本稿では,注意スコアの前にKVエントリを選択し,明示的な精度制御を行うプリホックスパシティ(PrHS)を提案する。 PrHSは検索オーバーヘッドを90%以上削減し、HShareよりも3倍高い精度で検索できる。 これはLongBenchの平均劣化率を1%以下に抑え、FLOPを約15%減らし、9.9倍のレイテンシと2.8倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-09T07:05:23Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。