論文の概要: Predict, Reuse, and Repair: Accelerating Dynamic Sparse Attention for Long-Context LLM Decoding

• arxiv url: http://arxiv.org/abs/2606.30389v1
• Date: Mon, 29 Jun 2026 14:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.286439
• Title: Predict, Reuse, and Repair: Accelerating Dynamic Sparse Attention for Long-Context LLM Decoding
• Title（参考訳）: 予測・再利用・修復:長期LLM復号のための動的スパースアテンションの高速化
• Abstract要約: PRRは、DSA選択における時間的局所性を利用して、潜在的なブロックを予測し、選択が飛行中にそれらに対する注意を推測する。 オンラインソフトマックス統計を用いて、欠落したブロックを部分的な注意状態に折り畳む。 ダウンストリームタスクの正確性を維持しながら、トーケン毎の復号遅延を最大40%削減する。
• 参考スコア（独自算出の注目度）: 9.431091344227658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic sparse attention (DSA) accelerates long-context LLM decoding by attending to only the top-K KV blocks relevant to each query, but it introduces a serialized selection-to-attention dependency that emerges as a new latency bottleneck. We present PRR, a speculate-reuse-repair runtime that exploits temporal locality in DSA selections to predict likely blocks, speculate the attention over them while selection is in flight, and incrementally repair missed blocks once the true selected set is known. PRR uses a lightweight EMA-based predictor, a profiling-guided speculation budget that keeps speculative work off the critical path, and a FlashAttention-based repair kernel that folds missed blocks into the partial attention state using online-softmax statistics. Across long-context benchmarks and representative DSA methods, PRR reduces per-token decoding latency by up to 40% while preserving downstream task accuracy. Github: https://github.com/Tianyu9748/Incremental_FlashAttention
• Abstract（参考訳）: 動的スパースアテンション(DSA)は、各クエリに関連するトップKKVブロックにのみ参加することで、LLMデコーディングを高速化するが、新しい遅延ボトルネックとして現れるシリアライズされた選択-アテンション依存性を導入する。 提案するPRRは,DSA選択における時間的局所性を利用して,予測されたブロックを予測し,選択中のブロックに対する注意を推測し,真の選択されたセットが認識されれば,欠落ブロックを漸進的に修復する。 PRRは軽量のEMAベースの予測器、プロファイリング誘導による投機的作業をクリティカルパスから遠ざける投機的予算、およびオンライン・ソフトマックス統計を用いて欠落したブロックを部分的注意状態に折り畳むFlashAttentionベースの修復カーネルを使用する。 長いコンテキストのベンチマークと代表的DSAメソッドを通して、PRRは、ダウンストリームタスクの精度を維持しながら、トーケン毎の復号遅延を最大40%削減する。 Github:https://github.com/Tianyu9748/Incremental_FlashAttention

関連論文リスト

• Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
  我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。 最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-08-31T15:13:20Z)
• A Sparse Glimpse of the Whole: Train-Free Self-Speculative Decoding [11.263048239748379]
  長文推論のためのトレーニング不要な自己投機的デコーディングフレームワークであるSparseSpec-Lを紹介する。 SparseSpec-Lは動的にスパース化され、リコール可能なKVキャッシュを使用して、ターゲットモデルから直接軽量なドラフトを生成する。 複数の長期コンテキストタスクとモデルスケールにわたる実験は、一貫したエンドツーエンドの加速を示す。
  論文  参考訳（メタデータ） (2026-07-30T06:16:56Z)
• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• MAGE: All-[MASK] Block Already Knows Where to Look in Diffusion LLM [9.69241599043101]
  ブロック拡散LDMは言語生成の次のパラダイムとして期待されているが、KVキャッシュの利用により、長期コンテキスト設定においてメモリアクセスが主要なボトルネックとなっている。 この研究は拡散をブロックする鍵となる機会を特定し、第1回All-[MASK]における注意は、重要なKVエントリと予算要件を確実に予測する。 MAGEはKV予算のごく一部でほぼロスレスの精度を達成し、最大3-4倍のエンドツーエンドのスピードアップを提供する。 軽量な微調整戦略は、[MASK]誘導パターンを最小限のコストで強化し、数時間のトレーニングしか必要としない。
  論文  参考訳（メタデータ） (2026-02-15T16:07:51Z)
• PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
  ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
  論文  参考訳（メタデータ） (2025-11-14T05:56:47Z)
• Efficient Low Rank Attention for Long-Context Inference in Large Language Models [41.24530756499533]
  低ランククエリとキーアテンション(LRQK)は、プリフィル段階で、完全精度クエリとキー行列をコンパクトなランク-(r)要素に分解するフレームワークである。 トップ(k)トークンと、最近のトークンの小さな固定セットだけを選択することで、LRQKは、完全に精度の低いKVペアだけを転送するヒットアンドミス機構を備えた混合GPU-CPUキャッシュを使用する。
  論文  参考訳（メタデータ） (2025-10-25T11:43:27Z)
• AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size [7.442463267121892]
  拡散に基づく大規模言語モデル (dLLM) は並列デコードに固有の能力で注目を集めている。 本稿では,セミARデコードにおける固定ブロックサイズの仮定に挑戦する最初の体系的な研究を提案する。 AdaBlock-dLLMは,実行中のブロックサイズを調整することで,ブロック境界とセマンティックステップを適応的に調整する,トレーニング不要のプラグイン・アンド・プレイスケジューラである。
  論文  参考訳（メタデータ） (2025-09-30T15:53:56Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval [24.472784635757016]
  RetrievalAttentionは、注意計算を高速化し、GPUメモリ消費を減らすためのトレーニング不要のアプローチである。 RetrievalAttentionは1-3%のデータのみを必要としながら、ほぼ全注意精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-09-16T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。