論文の概要: LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
- arxiv url: http://arxiv.org/abs/2607.19358v1
- Date: Fri, 29 May 2026 03:05:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.129689
- Title: LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
- Title（参考訳）: LISA: 効率的な長期推論のための線形インデックス付きスパースアテンション
- Abstract要約: 我々は,スクラッチから事前学習を必要としないプラグイン・アンド・プレイアテンション・リプレース・モジュールを提案する。
DeepSeek-distilled-Qwenモデルの実験は、LISAが16K-tokenコンテキスト下で50%の推論スピードアップを達成することを示した。
- 参考スコア（独自算出の注目度）: 38.105818694548184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in long chain-of-thought reasoning models such as DeepSeek-R1 have led to increasingly longer inference context lengths under the test-time scaling paradigm. However, the O(n^2) computational complexity of standard self-attention causes inference costs to grow sharply with long sequences, limiting the deployment of long-CoT reasoning in production settings. To address this, we propose LISA (Linear-Indexed Sparse Attention), a plug-and-play attention replacement module that requires no pretraining from scratch. LISA integrates two lightweight components in parallel within the original model: (1) a Linear Attention module that provides long-range memory with O(n) time complexity; (2) a Lightning Indexer that selects the top-M important tokens from the full context to feed into a Sparse Self-Attention. The two branches are fused via a gating mechanism, reducing inference complexity from O(n^2) to O(nM) (M << n) for generating n tokens. We design a two-stage training pipeline: Stage 1 initializes the model by integrating the linear attention to capture long-range dependencies, complemented by a sliding-window attention mechanism that is optimized via knowledge distillation to approximate the full self-attention distribution of a frozen teacher model. In Stage 2, we further introduce the Indexer to replace the static sliding-window mechanism, enabling dynamic token selection from broader contexts. The Indexer is trained using a novel per-head KL divergence loss, which aligns its selection behavior with the attention patterns of the teacher model. Experiments on DeepSeek-distilled-Qwen models demonstrate that LISA achieves a 50% inference speedup under 16K-token context, while improving average performance by 5.6% on reasoning benchmarks including AIME and MATH-500.
- Abstract（参考訳）: DeepSeek-R1のような長鎖推論モデルの最近の進歩は、テスト時間スケーリングのパラダイムの下で、推論コンテキストの長さがますます長くなっている。
しかし、O(n^2)の計算複雑性により、推論コストは長いシーケンスで急激に増加し、プロダクション環境でのロングCoT推論の展開が制限される。
そこで我々はLISA(Linear-Indexed Sparse Attention)を提案する。
LISAは、(1)O(n)時間複雑さで長距離メモリを提供するLinear Attentionモジュール、(2)フルコンテキストからトップM重要なトークンを選択してスパース自己認識にフィードするLightning Indexerの2つの軽量コンポーネントを、オリジナルのモデル内に並列に統合する。
2つの枝はゲーティング機構を介して融合し、n個のトークンを生成するための推論複雑性を O(n^2) から O(nM) (M <<n) に還元する。
2段階の訓練パイプラインを設計する: ステージ1は、リニアアテンションを統合して長距離依存を捕捉し、知識蒸留により最適化されたスライドウインドウアテンション機構で補完し、凍結教師モデルの完全な自己注意分布を近似することにより、モデルを初期化する。
ステージ2では、静的なスライドウインドウ機構を置き換えるインデクサを導入し、より広いコンテキストから動的トークンの選択を可能にする。
インデクサは、教師モデルの注意パターンと選択動作を整合させる新しいKL分散損失を用いて訓練される。
DeepSeek-distilled-Qwenモデルの実験では、LISAは16K-tokenコンテキスト下で50%の推論高速化を実現し、平均性能はAIMEやMATH-500などの推論ベンチマークで5.6%向上した。
関連論文リスト
- VSPrefill: Vertical-Slash Sparse Attention with Lightweight Indexing for Long-Context Prefilling [0.0]
既存のスパースアテンション手法は、コンテキスト適応性、オーバーヘッドのサンプリング、微調整コストのトレードオフに直面している。
注意分布に垂直スラッシュ構造パターンを用いる軽量なトレーニング機構であるVSPrefillを提案する。
VSPrefillは注意点の98.35%を保存し、コンテキスト長128kで平均4.95倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2026-03-03T09:24:58Z) - Predicting LLM Output Length via Entropy-Guided Representations [13.351384070796747]
本稿では,本モデルの内部隠蔽状態を有効長予測のために再利用する軽量フレームワークを提案する。
1) オンザフライアクティベーションとトークンエントロピーを用いて高精度な静的予測を行うEGTP (Entropy-Guided Token Pooling) である。
論文 参考訳（メタデータ） (2026-02-12T10:49:04Z) - STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs [23.745366354566315]
LLM(Linearizing Pretrained Large Language Model)は主に層内ハイブリッドアテンション機構に依存している。
LLMを効率的に線形化するための層内ハイブリッド線形化フレームワークSTILLを提案する。
論文 参考訳（メタデータ） (2026-02-02T14:49:18Z) - LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。
このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。
LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
論文 参考訳（メタデータ） (2026-01-30T06:44:33Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-12-10T01:54:57Z) - DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning [6.468843780300177]
モデル精度を犠牲にすることなく計算効率を向上する訓練不要なスパースアテンション機構である textbfDELTA を提案する。
この結果から,中間注意マップの選択的再利用は,より効率的な長文推論への頑健な道を提供することが示された。
論文 参考訳（メタデータ） (2025-10-10T21:37:49Z) - InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation [56.694702609077495]
ロングシーケンス処理は、現代の大規模言語モデルにとって重要な機能である。
InfLLM-V2は、ショートシーケンスからロングシーケンスまでのモデルをシームレスに適応する訓練可能なスパースアテンションフレームワークである。
実験では、InfLLM-V2は高密度の注意より4$times$速いが、98.1%と99.7%のパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-09-29T12:08:33Z) - Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。
推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。
また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-14T18:54:19Z) - SeerAttention: Learning Intrinsic Sparse Attention in Your LLMs [10.702409298302547]
SeerAttentionは、大規模言語モデル自体からブロックレベルの注意空間を学習する。
Mixture of Experts (MoE)のゲーティング機構にインスパイアされたSeerAttentionは、学習可能なゲートで従来の注意を増進する。
評価の結果,SeerAttention は長文プリフィルの精度向上と低レイテンシ化を実現していることがわかった。
論文 参考訳（メタデータ） (2024-10-17T07:07:09Z) - A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。
HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。
HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
論文 参考訳（メタデータ） (2024-06-14T08:32:45Z) - Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。
提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
論文 参考訳（メタデータ） (2024-06-12T12:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。