論文の概要: AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity

• arxiv url: http://arxiv.org/abs/2505.23520v1
• Date: Thu, 29 May 2025 14:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.922317
• Title: AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity
• Title（参考訳）: AnchorAttention: Stripeの粒度を考慮した差分認識スパースアテンション
• Authors: Yu Zhang, Dong Guo, Fang Wu, Guoliang Zhu, Dian Ding, Yiming Zhang,
• Abstract要約: 拡張コンテキスト長を持つ大規模言語モデル(LLM)は、事前充足フェーズにおいて重大な計算上の課題に直面します。 重要な注意領域を効率よく識別する,差認識型動的スパースアテンション機構である textbfAnchorAttention を提案する。 textbfAnchorAttentionは、粒度の細かいスペーシング戦略により、同じリコールレベルでより高いスペーサ率を実現し、計算時間を著しく短縮する。
• 参考スコア（独自算出の注目度）: 9.63873831179673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) with extended context lengths face significant computational challenges during the pre-filling phase, primarily due to the quadratic complexity of self-attention. Existing methods typically employ dynamic pattern matching and block-sparse low-level implementations. However, their reliance on local information for pattern identification fails to capture global contexts, and the coarse granularity of blocks leads to persistent internal sparsity, resulting in suboptimal accuracy and efficiency. To address these limitations, we propose \textbf{AnchorAttention}, a difference-aware, dynamic sparse attention mechanism that efficiently identifies critical attention regions at a finer stripe granularity while adapting to global contextual information, achieving superior speed and accuracy. AnchorAttention comprises three key components: (1) \textbf{Pattern-based Anchor Computation}, leveraging the commonalities present across all inputs to rapidly compute a set of near-maximum scores as the anchor; (2) \textbf{Difference-aware Stripe Sparsity Identification}, performing difference-aware comparisons with the anchor to quickly obtain discrete coordinates of significant regions in a stripe-like sparsity pattern; (3) \textbf{Fine-grained Sparse Computation}, replacing the traditional contiguous KV block loading approach with simultaneous discrete KV position loading to maximize sparsity rates while preserving full hardware computational potential. With its finer-grained sparsity strategy, \textbf{AnchorAttention} achieves higher sparsity rates at the same recall level, significantly reducing computation time. Compared to previous state-of-the-art methods, at a text length of 128k, it achieves a speedup of 1.44$\times$ while maintaining higher recall rates.
• Abstract（参考訳）: 文脈長が拡張された大規模言語モデル (LLM) は、主に自己注意の二次的な複雑さのために、前処理フェーズにおいて重要な計算上の課題に直面している。 既存の手法では、動的パターンマッチングとブロックスパースな低レベル実装が一般的である。 しかし、パターン識別のための局所的な情報への依存は、グローバルな文脈を捉えることができず、ブロックの粗い粒度は、持続的な内部スペーサ性をもたらし、最適以下の精度と効率をもたらす。 これらの制約に対処するため,大域的な文脈情報に適応しつつ,より細粒度で重要な注意領域を効率よく識別し,より高速かつ精度のよい差認識型動的スパースアテンション機構である「textbf{AnchorAttention}」を提案する。 AnchorAttentionは3つの主要なコンポーネントで構成されている: 1) \textbf{Pattern-based Anchor Computation}、すべての入力にまたがる共通性を活用して、アンカーとして近値スコアの集合を高速に計算する (2) \textbf{Difference-aware Stripe Sparsity Identification}、アンカーとの差認識比較を行い、ストライプのようなスパースパターンにおける重要な領域の離散座標を迅速に取得する (3) \textbf{Fine-fine Sparse Computation}、伝統的な連続したKVブロックローディングアプローチを、ハードウェアのポテンシャルを保ちながら、個別にKVブロックローディングする 。 よりきめ細かいスペーサリティ戦略により、同じリコールレベルでより高いスペーサリティ率を達成し、計算時間を著しく短縮する。 従来の最先端の手法と比較して、128kのテキスト長で1.44$\times$の高速化を実現し、高いリコールレートを維持している。

関連論文リスト

• Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [57.56385490252605]
  拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。 SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2025-05-24T21:30:29Z)
• SentenceKV: Efficient LLM Inference via Sentence-Level Semantic KV Caching [9.617322424513317]
  SentenceKVは、セマンティックコヒーレンスを保持しながら推論効率を向上させるために設計された、新しいKVキャッシュアプローチである。 本研究では,SentenceKVがモデル精度を損なうことなく,効率とメモリ使用量の両方において最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-01T17:08:57Z)
• Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs [10.52833484759311]
  本稿では,空間適応型かつキャリブレーションフリーなスパースアテンション機構であるTacticを提案する。 固定されたトークン予算ではなく、累積的な注意スコアに基づいてトークンを動的に選択する。 我々は、Tacticが既存のスパースアテンションアルゴリズムより優れており、精度が良く、7.29倍のデコードアテンションスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2025-02-17T08:39:43Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• SparseAccelerate: Efficient Long-Context Inference for Mid-Range GPUs [0.0]
  SparseAccelerateは動的スパースアテンション手法であり、入力特性に基づいてその疎度パターンを適応する。 実験結果から,SparseAccelerateは最大1.04倍のTTTF遅延を32Kトークンで達成した。
  論文  参考訳（メタデータ） (2024-12-09T04:27:03Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [64.11145320159126]
  本稿では,入力プロンプトの大部分を固定したLLMアプリケーションを高速化する機構として,Squeezed Attentionを提案する。 K-meansクラスタリングをオフラインで使用して、セマンティックな類似性に基づいて、固定されたコンテキストのキーをグループ化し、各クラスタを単一のセントロイド値で表現します。 そして、固定された文脈から重要なキーのみを用いて正確な注意を計算し、帯域幅と計算コストを削減する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Local All-Pair Correspondence for Point Tracking [59.76186266230608]
  ビデオシーケンス間の任意の点(TAP)を追跡するタスクのために設計された,高精度かつ効率的なモデルであるLocoTrackを紹介する。 LocoTrackは、すべてのTAP-Vidベンチマークで未整合の精度を実現し、現在の最先端の約6倍の速度で動作している。
  論文  参考訳（メタデータ） (2024-07-22T06:49:56Z)
• Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs [39.16152482491236]
  Bifurcated attentionは、共有コンテキストバッチデコードシナリオにおける言語モデル推論を強化するために設計された手法である。 提案手法は,高バッチサイズおよび拡張コンテキスト長のレイテンシに寄与する重要な要因である冗長メモリIOコストの課題に対処する。
  論文  参考訳（メタデータ） (2024-03-13T16:30:57Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。