論文の概要: FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving

• arxiv url: http://arxiv.org/abs/2608.19758v1
• Date: Thu, 20 Aug 2026 08:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.489163
• Title: FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving
• Title（参考訳）: Flash Prefill V2: 長期LLM実行のためのブロックスパース準備アテンション
• Abstract要約: ロングコンテキストモデリングは、大規模言語モデルにとって重要な機能である。 以前の作業であるFlashPrefillは、瞬時パターン発見と最大ベースの動的しきい値設定によって、このコストを軽減します。 FlashPrefill V2は、FlashPrefillをプロトタイプから、3次元で機能する実用的なロングコンテキストへと進化させる。
• 参考スコア（独自算出の注目度）: 45.624568309628756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context modeling is a pivotal capability for Large Language Models, yet the quadratic complexity of attention remains a critical bottleneck, particularly during the compute-intensive prefilling phase. Our previous work, FlashPrefill, mitigates this cost through instantaneous pattern discovery and max-based dynamic thresholding; however, it remains an algorithmic prototype that is still distant from production deployment. In this paper, we present FlashPrefill V2, which evolves FlashPrefill from a prototype toward practical long-context serving along three dimensions. First, we introduce a mean correction term that effectively suppresses the approximation error, keeping performance degradation manageable even at extreme sparsity levels. Second, we redesign the sparse attention operator with PackGQA memory access, warp specialization, and pingpong pipelining, fully aligning with the latest FlashAttention-3/4 implementations and supporting FP8 inference to meet practical quantization requirements. Third, FlashPrefill V2 natively supports paged KV cache and continuous batching, allowing integration as an attention backend in modern inference frameworks such as SGLang. Extensive evaluations on NVIDIA H20 GPUs---among the most widely deployed inference accelerators---demonstrate that FlashPrefill V2 delivers up to 47.26x and 27.19x speedups over FlashAttention-2 at 128K context length under FP8 and BF16 precision, respectively, and, in FP8, still achieves a 30.49x speedup against an FA3/4-aligned dense baseline.
• Abstract（参考訳）: 長期コンテキストモデリングは、大規模言語モデルにとって重要な能力であるが、特に計算集約的な準備段階において、注意の二次的な複雑さは重要なボトルネックである。 これまでの作業であるFlashPrefillは、このコストを、瞬時にパターン発見と最大ベースの動的しきい値設定を通じて軽減していますが、それでもまだ本番環境から離れたアルゴリズムのプロトタイプです。 本稿では,FlashPrefillをプロトタイプから3次元の実用的長期コンテキストへと進化させるFlashPrefill V2を提案する。 まず,近似誤差を効果的に抑制する平均補正項を導入する。 第2に、PackGQAメモリアクセス、ワープ特殊化、ピンポンパイプライニングによるスパースアテンション演算子を再設計し、最新のFlashAttention-3/4実装と完全に整合し、実用的な量子化要件を満たすためにFP8推論をサポートする。 第三に、FlashPrefill V2はページ化されたKVキャッシュと継続的バッチ処理をネイティブにサポートしており、SGLangのようなモダンな推論フレームワークにおける注目のバックエンドとして統合することができる。 FlashPrefill V2は、FP8とBF16の精度で、それぞれ128Kのコンテキスト長でFlashAttention-2よりも47.26xと27.19xのスピードアップを提供する。

関連論文リスト

• Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
  我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。 最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-08-31T15:13:20Z)
• FlashAttention for Scalable Vector Architectures [0.05735035463793007]
  本稿では,FlashAttention-Vを提案する。FlashAttentionはスケーラブルなベクトルアーキテクチャのためのブロックされたFlashAttentionで,短いベクトルから非常に長いベクトルへ効率的に適応する。 我々は,FlashAttention-VがスカラーFlashAttentionよりも22x-42xの高速化を実現していることを示す。 デコード中、FlashAttention-VはスカラーFlashAttentionよりも512ビットのベクトル長を使用して8x-11xのスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-19T08:02:17Z)
• FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling [43.057651076580264]
  FlashPrefillは、瞬時パターン発見としきい値設定による超高速プリフィルを可能にするフレームワークである。 FlashPrefillは256Kシーケンスで前例のない27.78倍の高速化を実現している。 短いコンテキストで効率を劣化させる既存の方法とは異なり、FlashPrefillは4Kコンテキスト長でも1.71倍のスピードアップを維持している。
  論文  参考訳（メタデータ） (2026-03-06T12:12:46Z)
• InfiniteVL: Synergizing Linear and Sparse Attention for Highly-Efficient, Unlimited-Input Vision-Language Models [49.08289742711585]
  我々は、Gated DeltaNetとSWA(Slide window attention)を相乗化する線形複雑VLMアーキテクチャであるInfiniteVLを提案する。 InfiniteVLは、一定のレイテンシとメモリフットプリントを維持しながら、3.6時間以上の推論高速化を実現する。 ストリーミングビデオ理解のシナリオでは、長期メモリキャッシュを保持しながら、24FPSのリアルタイムプリフィル速度を安定的に維持する。
  論文  参考訳（メタデータ） (2025-12-09T17:18:32Z)
• InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation [56.694702609077495]
  ロングシーケンス処理は、現代の大規模言語モデルにとって重要な機能である。 InfLLM-V2は、ショートシーケンスからロングシーケンスまでのモデルをシームレスに適応する訓練可能なスパースアテンションフレームワークである。 実験では、InfLLM-V2は高密度の注意より4$times$速いが、98.1%と99.7%のパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-09-29T12:08:33Z)
• FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs [2.9406946721643092]
  本稿では,単一インスタンス配置シナリオに対するMLA推論を強化する新しいフレームワークであるFlashMLA-ETAPを紹介する。 ETAP は、KV コンテキスト長を WGMMA 操作の (M)-次元と整合させるために、変換による注意計算を再構成する。 FlashMLA-ETAPは64Kシーケンス長(バッチサイズ16)でのFlashMLAの2.78倍の高速化を実現し、それぞれFlashAttention-3とFlashInferの5.24倍と4.94倍の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-13T17:45:34Z)
• FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision [14.426543629408984]
  注意は、大きな言語モデルと長いコンテキストアプリケーションのボトルネックです。 我々はGPUに注意を向ける3つの主要な技術を開発した。 提案手法であるFlashAttention-3は,FP16が最大740 TFLOPs/s(75%利用)に達し,FP8が1.2 PFLOPs/sに到達して,H100 GPU上で1.5-2.0$timesの高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2024-07-11T15:44:48Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugin [32.172269679513285]
  FlashOCCは、高速かつメモリ効率の高い占有率予測を集約する。 チャネル・ツー・ハイト変換は、BEVから出力ロジットを3次元空間に持ち上げるために導入された。 その結果,従来の最先端手法よりもプラグ・アンド・プレイ・パラダイムが優れていることが実証された。
  論文  参考訳（メタデータ） (2023-11-18T15:28:09Z)
• Revisiting Multi-Scale Feature Fusion for Semantic Segmentation [90.32746095413447]
  本稿では,高精度なセマンティックセグメンテーションには高い内部分解能もアトラス畳み込みも不要であることを示す。 我々は,内部分解能が高く,高コストなアトラス畳み込みをもたない,ESegと呼ばれる簡易なセグメンテーションモデルを開発した。 我々の単純な手法は、複数のデータセットにまたがる先行技術よりも高速で精度を向上できる。
  論文  参考訳（メタデータ） (2022-03-23T19:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。