Fugu-MT 論文翻訳(概要): Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost

論文の概要: Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost

arxiv url: http://arxiv.org/abs/2611.07232v1
Date: Wed, 04 Nov 2026 23:36:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-06 21:50:50.469263
Title: Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost
Title（参考訳）: 再帰的スパース注意:対数コストにおける100万フィート外挿法
Abstract要約: RecSAはKVキャッシュ上にツリーを構築し、各ノードはそのサブツリーを1つのキーと1つの平均プール値で要約する。最適化されたカーネルでは、RecSAはエンドツーエンドのプリフィルや64Kから2Mへのデコードにおいて、より注目度が高い。
参考スコア（独自算出の注目度）: 13.729739058678797
License: http://creativecommons.org/licenses/by/4.0/
Abstract: At context lengths of about 1M tokens, dense attention is costly in prefill and decoding, and training typically relies on long documents, which become scarcer as the target length increases. Most sparse attention methods score all preceding blocks or tokens, so their selection cost per query is $O(L)$ at context length $L$; hierarchical selection reduces it to $O(\log L)$, but prior trainable hierarchical methods report accuracy only within their training length. We propose RecSA (Recursive Sparse Attention), which builds a tree over the KV cache in which each node summarizes its subtree with one key and one mean-pooled value. The keys come from one pooler per layer, shared by all levels and distilled from dense attention. Each level above the tokens selects at most $k$ candidates, so each query has $O(\log L)$ selection cost and reads $O(\log L)$ entries; the summaries of unselected candidates share one softmax with the exact tokens. Each entry's RoPE position is its index among the candidates of its level, so at any length every relative distance stays within the range seen during training. Initialized from Qwen3-4B and trained on 0.62B tokens at the original model's 32K training length, RecSA outperforms all baselines on RULER at every length from 131K to 2M; at 1M, it scores 60.5, compared with 40.0 for the best baseline, Dense + DCA. With our optimized kernels, RecSA is faster than dense attention in end-to-end prefill and decoding from 64K to 2M; at 524K on one H200 GPU, it accelerates prefill by 3.2x and decoding by 3.8x.
Abstract（参考訳）: 約100万のトークンのコンテキスト長では、プリフィルやデコードに高額な注意が払われ、トレーニングは通常、ターゲットの長さが増加するにつれて不足する長いドキュメントに依存している。ほとんどのスパースアテンションメソッドは、先行するブロックやトークンをすべてスコアするので、クエリ毎の選択コストは、コンテキスト長$O(L)$で$L$; 階層的選択は、それを$O(\log L)$に還元するが、以前のトレーニング可能な階層的メソッドは、トレーニング長内でのみ正確さを報告している。本稿では、各ノードがサブツリーを1つのキーと1つの平均プール値で要約するKVキャッシュ上にツリーを構築するRecSA(Recursive Sparse Attention)を提案する。鍵は層ごとに1つのプールから作られ、すべての層で共有され、密集した注意から蒸留される。トークンの上の各レベルは、少なくとも$k$候補を選択するので、各クエリは$O(\log L)$選択コストを持ち、$O(\log L)$エントリを読み取る。各エントリーのRoPE位置は、そのレベルの候補のインデックスであり、任意の長さの相対距離は、トレーニング中に見られる範囲内に留まる。 Qwen3-4Bから初期化され、元のモデルの32Kトレーニング長で0.62BのトークンでトレーニングされたRecSAは、RULERのベースラインを131Kから2Mに上回り、1Mでは60.5点、最高のベースラインであるDense + DCAでは40.0点である。最適化されたカーネルでは、エンドツーエンドのプリフィルや64Kから2MへのデコードではRecSAの方がより高速で、H200 GPUでは524Kでプリフィルを3.2倍、デコーディングを3.8倍高速化します。

関連論文リスト

LooM: Loop-Invariant Memory for Causal Encoder-Decoder Language Models [51.731535119332314]
Looped Transformerは共有レイヤを再実行することで、効果的な深さを向上する。メモリはループ数で増加し、計算はブロック全体のステップでのみ調整され、トレーニング後にループ数を変更するのは難しい。本稿では,LooMを提案する。
論文参考訳（メタデータ） (2026-11-04T17:52:11Z)
Coarse Semantic Blocks for Efficient Training-Free Sparse Attention [4.35316501394574]
本稿では,プリフィルとデコードの両方を高速化するために,プロンプト固有のキーインデックスを構築する訓練不要なスパースアテンション手法を提案する。このメソッドはキーを大きなセマンティックブロックに集約し、非連続的な位置からトークンをグループ化する。 NVIDIA H200上での2つのハイブリッドLCM, Qwen3.5-4Bと35B-A3Bを評価した。
論文参考訳（メタデータ） (2026-11-03T04:46:30Z)
TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning [55.18459469601808]
TokenGateは、学習可能なトークンプルーニングを可能にするために、既存のトレーニングモデルを拡張する小さなコンポーネントである。トークンプルーニングのための非微分不可能なトップK演算子にも拘わらず、エンドツーエンドの学習を可能にするため、トークン付き注目を導入する。様々なタスクにおいて、TokenGateは1.4$-11.3times$高速タイムツーファーストトークン(TTFT)と1.5$-3.4times$低ピークメモリを実現している。
論文参考訳（メタデータ） (2026-10-19T17:15:53Z)
Periscope: Extending Frozen Language Models Beyond Their Context Window [3.3830567744123723]
言語モデルは、1つの二次フォワードパスで長いテキストを読み、コンテキストウィンドウで停止し、それに到達する前に正確さを失う。有限集合を決定する際に、読み出しを分解できるかどうかを問う。 Periscopeは$KtimesK$グリッド上のテキストの$N$チャンクを$K=lceilsqrtNrceil$でアレンジし、同じ質問でフリーズモデルに尋ねる。
論文参考訳（メタデータ） (2026-10-02T20:52:06Z)
PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
PQ-HSAは選択したトークンに元のキーと値で出席する。 Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
論文参考訳（メタデータ） (2026-09-27T16:47:14Z)
SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers [38.620985085871034]
SpotAttentionは、最大128Kトークンのコンテキストで、トレーニングの長さの8倍の精度で一致します。セレクタのKキャッシュをINT4またはFP4マイクロスケールに量子化すると、正確さなしで3.5倍縮小する。
論文参考訳（メタデータ） (2026-06-22T05:39:12Z)
HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention [62.79085204939384]
HISA (Hierarchical Indexed Sparse Attention) は、平らなトークンスキャンから2段階の階層的な手順に検索パスを書き換える。カーネルレベルのベンチマークでは、HISAは64Kコンテキストでの高速化を実現している。
論文参考訳（メタデータ） (2026-03-30T13:59:51Z)
Superlinear Multi-Step Attention [8.782622621289251]
超線形アテンションは、標準的な因果自己アテンションを、N$ステップの多段階探索問題として再定義する。超線形アテンションは、標準的な因果自己アテンションを、N$ステップの多段階探索問題として再定義する。
論文参考訳（メタデータ） (2026-01-26T11:58:42Z)
Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-11-14T18:54:19Z)
Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文参考訳（メタデータ） (2024-05-28T22:19:30Z)
Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens [65.4435926060951]
本稿では,超長周期の変換器の効率を,各層でより小さな表現に圧縮することで向上することを提案する。我々のアルゴリズムは効率的であるだけでなく(4Kと16Kのベースラインに比べて3倍以上の効率向上を達成する)、多数のタスクで競合/ベターパフォーマンスを提供する。
論文参考訳（メタデータ） (2023-05-07T10:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。