論文の概要: Block-Sparse Attention with Semantic-Geometric Decoupled Routing

• arxiv url: http://arxiv.org/abs/2609.22884v1
• Date: Sat, 19 Sep 2026 08:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.579978
• Title: Block-Sparse Attention with Semantic-Geometric Decoupled Routing
• Title（参考訳）: Semantic-Geometric Decoupled Routing を用いたブロックスパース注意
• Abstract要約: 本稿では,意味的アグリゲーションを事前のRoPE空間にシフトさせる学習自由ブロックルーティングフレームワークを提案し,オフラインな構造的先行および相対的ブロック距離で幾何学的バイアスを再構築する。 長文テキストとビデオタスクの実験では、4K--128Kコンテキストのフルアテンション精度にアプローチし、ルーティングオーバーヘッドを3.4ms以下に保ち、128Kコンテキスト長でFlashAttnを5.03$times$スピードアップすることを示した。
• 参考スコア（独自算出の注目度）: 37.66672644118402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context inference has become a defining capability of large language models, but exact dense attention remains costly due to its quadratic scaling with sequence length. Block-sparse attention offers a hardware-friendly alternative by routing each query block to a small set of relevant key blocks, yet accurate training-free block routing remains difficult. Existing routers often pool post-RoPE token representations, which entangles semantic aggregation with RoPE-induced geometry and attenuates local positional cues through high-frequency phase cancellation. To resolve this mismatch, we propose \textbf{Semantic-Geometric Decoupled Routing}, a training-free block routing framework that shifts semantic aggregation to the pre-RoPE space and reconstructs geometric bias with an offline structural prior and relative block distances. This decomposition yields an explicit closed-form block routing score without token-level search or post-hoc calibration. Experiments on long-context text and video tasks show that our method approaches full-attention accuracy across 4K--128K contexts, keeps routing overhead below 3.4 ms, and achieves a 5.03$\times$ speedup over FlashAttn at a 128K context length.
• Abstract（参考訳）: 長文推論は大規模言語モデルの定義能力となっているが、シークエンス長の2次スケーリングのため、厳密な注意は高価に保たれている。 ブロックスパース(Block-sparse)は、各クエリブロックを関連するキーブロックの小さなセットにルーティングすることで、ハードウェアフレンドリな代替手段を提供するが、正確なトレーニング不要なブロックルーティングは難しいままである。 既存のルータは、しばしばRoPEのトークン表現をプールするが、これはRoPEによって引き起こされる幾何学と意味的なアグリゲーションを絡み、高周波位相キャンセルによって局所的な位置の手がかりを減衰させる。 このミスマッチを解決するために,学習不要なブロックルーティングフレームワークである‘textbf{Semantic-Geometric Decoupled Routing} を提案する。 この分解により、トークンレベルの探索やポストホックキャリブレーションなしで、明示的な閉形式のブロックルーティングスコアが得られる。 長文テキストとビデオタスクの実験では、4K--128Kコンテキストのフルアテンション精度にアプローチし、ルーティングオーバーヘッドを3.4ms以下に保ち、128Kコンテキスト長でFlashAttnを5.03$\times$スピードアップすることを示した。

関連論文リスト

• CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
  本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。 ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。 ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
  論文  参考訳（メタデータ） (2026-09-01T22:49:46Z)
• Structured-Sparse Attention for Entity Tracking with Subquadratic Sequence Complexity [45.829192030010006]
  また, 大部分の質量は, 光遮断残余を有する局所ブロック対角近傍に集中していることが示唆された。 ブロック内相互作用を正確に保ち、還元されたシステムを介してブロック間相互作用を経路するリゾルペント型演算子のブロックワイズ評価を導出する。 本手法は,高密度演算子の精度に一致し,標準化された測定プロトコルの下で壁面時間を12～29%削減する。
  論文  参考訳（メタデータ） (2026-05-21T13:35:48Z)
• Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation [61.19473093799777]
  ブロックアテンションは、Retrieval-Augmented Generation (RAG)のような長期コンテキストシナリオにおけるKVキャッシュの再利用を改善することができる。 しかし、入力テキストを意味のある自己完結ブロックに分割することの難しさと、性能低下のリスクを負う既存のブロック微調整手法の非効率性である。 ブロック微細チューニングよりも効率的な訓練フレームワークであるブロック蒸留を提案し, 凍結したフルアテンション教師モデルを用いて, ブロックアテンション学生を指導する。
  論文  参考訳（メタデータ） (2026-05-15T12:51:32Z)
• VSPrefill: Vertical-Slash Sparse Attention with Lightweight Indexing for Long-Context Prefilling [0.0]
  既存のスパースアテンション手法は、コンテキスト適応性、オーバーヘッドのサンプリング、微調整コストのトレードオフに直面している。 注意分布に垂直スラッシュ構造パターンを用いる軽量なトレーニング機構であるVSPrefillを提案する。 VSPrefillは注意点の98.35%を保存し、コンテキスト長128kで平均4.95倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-03-03T09:24:58Z)
• Landmark Attention: Random-Access Infinite Context Length for Transformers [45.69864961773124]
  ランダムアクセスの柔軟性を維持しつつ、完全なコンテキストへのアクセスを可能にする新しいアプローチを提案する。 本手法では,入力の各ブロックをランドマークトークンで表現し,関連するブロックを選択するために注目度をトレーニングする。 提案手法はTransformer-XLと同等の性能を示し,各ステップで取得したトークンの数を大幅に削減する。
  論文  参考訳（メタデータ） (2023-05-25T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。