論文の概要: Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention

• arxiv url: http://arxiv.org/abs/2610.42147v2
• Date: Tue, 03 Nov 2026 12:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.38217
• Title: Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
• Title（参考訳）: 潜在スパース注意 : 四肢四肢四肢の超長期注意に向けて
• Abstract要約: 遅延スパース注意(LSA)は、超長期の文脈で精度を維持する効率的な注意法である。 キーは学習された潜在空間に階層的にクラスタ化され、クエリはすべてのキーをスコアする代わりにクラスタの階層をスコアする。 事前学習モデルに適用可能な2つの変種であるDistilled-LSAとNative-LSAを提案する。
• 参考スコア（独自算出の注目度）: 28.895731468522527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic workflows are increasingly shifting towards long-horizon tasks, such as open-ended scientific work, where models benefit from long context windows. However, at ultra-long context (above 1M tokens), full attention is prohibitively expensive. A promising approach is sparse attention, in which a dedicated indexer selects a subset of keys for the attention. Yet current methods of indexing either still have quadratic cost in context size or lose accuracy at ultra-long context scale. We address this with Latent Sparse Attention (LSA), an efficient attention method that maintains accuracy at ultra-long context. In LSA, keys are hierarchically clustered in a learned latent space, and queries score the hierarchy of clusters instead of scoring every key, making prefill, decode and training faster at long context. We propose two variants, Distilled-LSA (D-LSA), which can be applied to pre-trained models via distillation, and Native-LSA (N-LSA), which is trained natively on the next-token loss alone. On GLM-5.3-FLASH (QWEN-3.8-27B) at 10M tokens, D-LSA speeds up one attention layer by 22.7x (72.4x) in prefill and 4.6x (42.5x) in decode over its original sparse attention (full attention), while keeping similar accuracy across a variety of tasks. N-LSA matches the accuracy of full attention with a training speedup of 1.6x per layer at 128k tokens. LSA offers practical and efficient attention for models to benefit from ultra-long context.
• Abstract（参考訳）: エージェントワークフローは、長いコンテキストウィンドウの恩恵を受けるような、オープンな科学的作業のような、長期的タスクへとシフトしつつある。 しかし、非常に長いコンテキスト(100万トークン以上)では、完全な注意は違法に高価である。 有望なアプローチは、専用のインデクサが注意のためのキーのサブセットを選択するという、まばらな注意である。 しかし、現在のインデクシング手法は、コンテキストサイズが2次的なコストを持つか、超長期のコンテキストスケールで精度を損なうかのいずれかである。 超長期の文脈で精度を維持する効率的な注意法であるLatent Sparse Attention (LSA) を用いてこの問題に対処する。 LSAでは、キーは学習された潜在空間に階層的にクラスタ化され、クエリはすべてのキーをスコアする代わりにクラスタ階層をスコアする。 蒸留による事前学習モデルに適用可能なD-LSA(Distilled-LSA)と,次段階の損失のみをネイティブにトレーニングするN-LSA(N-LSA)の2種類を提案する。 10MトークンでのGLM-5.3-FLASH (QWEN-3.8-27B)では、D-LSAはプリフィルで22.7x (72.4x)、元のスパースアテンション(フルアテンション)で4.6x (42.5x)のアテンション層をスピードアップし、様々なタスクで同様の精度を維持している。 N-LSAは、フルアテンションの精度と128kトークンで1層あたり1.6倍のトレーニングスピードアップとを一致させる。 LSAは、超長期コンテキストの恩恵を受けるモデルに対して、実用的で効率的な注意を払っている。

関連論文リスト

• Joint Subspace Sparse Attention for Efficient Long-Context Decoding [9.678190958232024]
  トークンレベルの選択のために,JSSA(Joint Subspace Sparse Attention)を導入する。 JSSAはトークンスコアエラーを最小限にして、共有低次元のクエリレベル部分空間を学習する。 NVIDIA B200 GPUでは、JSSAは最大6.43ドルのデコードスループットを128Kコンテキストで達成している。
  論文  参考訳（メタデータ） (2026-10-13T18:18:47Z)
• Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling [65.65882819517455]
  本稿では,言語モデリング(LM)損失下でチャンク選択をエンドツーエンドに学習するチャンクワイズアテンション機構を提案する。 実験結果から,HiLS-Attentionはドメイン内コンテキスト長に対して十分に注意を払っている場合に比較して,性能が向上することが示された。
  論文  参考訳（メタデータ） (2026-07-03T05:39:00Z)
• LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning [38.105818694548184]
  我々は,スクラッチから事前学習を必要としないプラグイン・アンド・プレイアテンション・リプレース・モジュールを提案する。 DeepSeek-distilled-Qwenモデルの実験は、LISAが16K-tokenコンテキスト下で50%の推論スピードアップを達成することを示した。
  論文  参考訳（メタデータ） (2026-05-29T03:05:29Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference [9.469995152350899]
  我々は、既知の観測値を活用する訓練不要なスパースアテンション手法であるカスケードを提案する。 Kascadeは、小さなアンカー層で正確なTop-kインデックスを計算し、それらのインデックスを中間再利用層で再利用する。 Kascadeは、H100 GPU上のFlashAttention-3ベースラインに対して、デコードアテンションの最大4.1倍、プリフィルアテンションの2.2倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-12-18T10:37:14Z)
• Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference [15.466168180222164]
  我々は,長文推論用に設計された軽量かつ高精度なスパースアテンション機構であるAdamasを紹介する。 実験の結果、アダガスは64段階の予算しか持たず、128倍の性能で、従来のSOTA(State-of-the-art)の手法よりも最大8倍高い空間性をサポートすることがわかった。
  論文  参考訳（メタデータ） (2025-10-21T08:44:47Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。