論文の概要: RBS-Attention: Radius-Bounded Sparse Prefill for Long-Context Large Language Models
- arxiv url: http://arxiv.org/abs/2609.20971v1
- Date: Thu, 17 Sep 2026 18:28:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.747551
- Title: RBS-Attention: Radius-Bounded Sparse Prefill for Long-Context Large Language Models
- Title（参考訳）: RBS-Attention:Long-Context Large Language Modelのためのラディウス境界スパース準備
- Abstract要約: RBS-Attention (RBS-Attention) は2つの相補選択枝を持つ訓練不要スパース補充法である。
セントロイドベースブランチは平均的な関連性を捉え、救助ブランチは最大鍵ブロック半径とそのプロンプト、層、頭に依存した分布を用いて、過小評価のリスクがあるブロックを識別する。
- 参考スコア（独自算出の注目度）: 0.3920678789793038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-context large language model inference is increasingly limited by prefill, where dense self-attention processes the entire prompt before generation begins. Sparse block selection can reduce this cost, but a block centroid may hide a highly relevant token among many irrelevant ones. We call this failure mode mean dilution and propose RBS-Attention, a training-free sparse-prefill method with two complementary selection branches. A centroid base branch captures average relevance, while a rescue branch uses the maximum key-block radius and its prompt-, layer-, and head-dependent distribution to identify blocks at risk of underestimation. Independently thresholding the two branches and combining their masks controls the contribution of rescue blocks while preserving regular block-sparse FlashAttention execution. On H100 GPUs, RBS-Attention achieves 20.65$\times$ standalone prefill-attention speedup, 11.92$\times$ vLLM prefill-attention speedup, and 5.97$\times$ end-to-end time-to-first-token speedup at 128K on Qwen3-30B-A3B-Instruct-2507-FP8. On the dense Qwen3-32B model, it obtains 88.65 overall RULER accuracy versus 89.52 for dense attention; LongBench-v2, InfiniteBench, and Video-MME provide additional quality evaluation. Supporting experiments measure actual retention, compare selectors at matched density, and characterize block-size, threshold, and memory behavior. Together, these results support radius-adaptive dual-branch selection as an effective approach to long-context prefill.
- Abstract（参考訳）: 長期コンテキストの大規模言語モデル推論は、生成前のプロンプト全体に対する密集した自己アテンションプロセスであるプリフィルによって、ますます制限されている。
疎ブロック選択は、このコストを削減することができるが、ブロックセントロイドは、多くの無関係なものの中で非常に関連性の高いトークンを隠すことができる。
この障害モードを平均希釈と呼び、2つの相補的な選択枝を持つ訓練不要スパース補充法RBS-Attentionを提案する。
セントロイドベースブランチは平均的な関連性を捉え、救助ブランチは最大鍵ブロック半径とそのプロンプト、層、頭に依存した分布を用いて、過小評価のリスクがあるブロックを識別する。
独立して2つのブランチをしきい値にし、それらのマスクを組み合わせることで、通常のブロックスパースFlashAttentionの実行を維持しながら、救助ブロックのコントリビューションを制御する。
H100 GPUでは、RBS-Attentionは20.65$\times$スタンドアロンプレフィルアテンションスピードアップ、11.92$\times$ vLLMプリフィルアテンションスピードアップ、および5.97$\times$エンドツーエンドタイムツーファーストトケンスピードアップをQwen3-30B-A3B-Instruct-2507-FP8上で128Kで達成している。
密度の高いQwen3-32Bモデルでは、RULER全体の精度が88.65で、集中度が高い場合には89.52で、LongBench-v2、InfiniteBench、Video-MMEはさらなる品質評価を提供する。
実際の保持を測定し、一致した密度でセレクタを比較し、ブロックサイズ、しきい値、メモリ動作を特徴付ける。
これらの結果は、長文プリフィルに対する効果的なアプローチとして、半径適応二分岐選択をサポートする。
関連論文リスト
- Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。
FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。
最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2026-08-31T15:13:20Z) - Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。
本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。
実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
論文 参考訳（メタデータ） (2026-05-16T07:50:13Z) - EndPrompt: Efficient Long-Context Extension via Terminal Anchoring [62.81677226065374]
本稿では,短いトレーニングシーケンスのみを用いて,効果的なコンテキスト拡張を実現する手法であるEndPromptを提案する。
我々は、元の短いコンテキストを無傷の第1セグメントとして保存し、短い端末プロンプトを第2セグメントとして追加し、ターゲットコンテキスト長の近傍に位置指標を割り当てる。
エンドプロンプトの平均RULERスコアは76.03で、LongBenchでは最高であり、LCEG(72.24)、LongLoRA(72.95)、フル長のファインチューニングを上回っている。
論文 参考訳（メタデータ） (2026-05-14T09:00:03Z) - ProxyKV: Cross-Model Proxy Pruning for Efficient Long-Context LLM Inference [12.04455190856202]
ProxyKVはクロスモデルプロキシプルーニングフレームワークである。
軽量なファミリー内Small-Model Proxyにスコアをオフロードし、Large-Model Targetに非同期に実行する。
Llama-3.1-8B(Dual-GPU; $sim$1.5times$ shared single-GPU)で最大$3.21timesのプリフィルスピードアップを提供し、Qwen-2.5-7Bで最大170kのトークンでスピードアップを継続する。
論文 参考訳（メタデータ） (2026-05-09T13:18:01Z) - Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference [9.469995152350899]
我々は、既知の観測値を活用する訓練不要なスパースアテンション手法であるカスケードを提案する。
Kascadeは、小さなアンカー層で正確なTop-kインデックスを計算し、それらのインデックスを中間再利用層で再利用する。
Kascadeは、H100 GPU上のFlashAttention-3ベースラインに対して、デコードアテンションの最大4.1倍、プリフィルアテンションの2.2倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-12-18T10:37:14Z) - Block Sparse Flash Attention [29.499030734003952]
Block-Sparse FlashAttentionはFlashAttentionの代替になる。
クエリキーの正確な類似性を計算し、クエリ毎に最上位の最も重要な値ブロックを選択する。
実世界の推論ベンチマークで最大1.10倍のスピードアップを実現し、最大1.24倍のニードル・イン・ア・ヘイスタック検索タスクを実現している。
論文 参考訳（メタデータ） (2025-12-07T21:20:12Z) - Sparser Block-Sparse Attention via Token Permutation [46.22204775916057]
本稿では,ブロックレベルの空間性を高めるために,注目の置換特性を活用するプラグイン・アンド・プレイ方式であるPermuted Block-Sparse Attention (textbfPBS-Attn)を提案する。
PBS-Attnは、カスタムのpermuted-FlashAttentionカーネルをベースとして、長文プリフィルで最大2.75タイムのエンドツーエンドのスピードアップを実現しています。
論文 参考訳（メタデータ） (2025-10-24T09:11:50Z) - AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity [9.63873831179673]
拡張コンテキスト長を持つ大規模言語モデル(LLM)は、事前充足フェーズにおいて重大な計算上の課題に直面します。
重要な注意領域を効率よく識別する,差認識型動的スパースアテンション機構である textbfAnchorAttention を提案する。
textbfAnchorAttentionは、粒度の細かいスペーシング戦略により、同じリコールレベルでより高いスペーサ率を実現し、計算時間を著しく短縮する。
論文 参考訳（メタデータ） (2025-05-29T14:59:06Z) - Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。
推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。
また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-14T18:54:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。