論文の概要: Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling

• arxiv url: http://arxiv.org/abs/2607.02980v1
• Date: Fri, 03 Jul 2026 05:39:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.480709
• Title: Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling
• Title（参考訳）: 階層的スパース注意が正しい:無限コンテキストモデリングへ向けて
• Authors: Xiang Hu, Xinyu Wei, Hao Gu, Minshen Zhang, Tian Liang, Huayang Li, Lei Zhu, Yan Wang, Sirui Han, Yushi Bai, Kewei Tu, Haitao Mi, Leo Liang,
• Abstract要約: 本稿では,言語モデリング(LM)損失下でチャンク選択をエンドツーエンドに学習するチャンクワイズアテンション機構を提案する。 実験結果から,HiLS-Attentionはドメイン内コンテキスト長に対して十分に注意を払っている場合に比較して,性能が向上することが示された。
• 参考スコア（独自算出の注目度）: 65.65882819517455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling modern large language models (LLMs) to long contexts is limited by the quadratic computation cost, and poor length extrapolation of dense attention. Chunk-wise sparse attention offers a promising alternative, but all existing methods fall short of full attention because of their inaccurate chunk selection. We propose Hierarchical Landmark Sparse (HiLS) Attention, a chunk-wise sparse attention mechanism that learns chunk selection end-to-end under the language-modeling (LM) loss. HiLS factorizes attention hierarchically: each query performs attention independently with each retrieved chunk to extract chunk-specific information, and the resulting outputs are fused according to chunk retrieval scores. By incorporating retrieval scores into the forward attention computation, HiLS optimizes them directly with the LM loss, enabling end-to-end retrieval learning and native sparse training. Experimental results show that HiLS-Attention achieves performance comparable to, and in some cases better than, full attention at in-domain context lengths. Meanwhile, HiLS-Attention extrapolates more than $64\times$ the training context length with 90% retrieval accuracy, far beyond full attention. Moreover, existing full-attention models can be converted to HiLS-Attention with lightweight continued pretraining, preserving in-domain performance while acquiring ultra-long-context extrapolation. Together with its sparse KV access and computation, HiLS-Attention breaks the usual efficiency-performance trade-off, enabling long-context LLMs that are both more efficient and more effective on general long-context tasks than their full-attention counterparts.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)を長期の文脈に拡張することは、二次計算コストと、集中注意の低い長さ外挿によって制限される。 チャンクワイズ・スパース・アテンションは有望な代替手段を提供するが、既存のすべてのメソッドは不正確なチャンク選択のため、完全に注意を払わない。 言語モデリング(LM)損失下でチャンク選択をエンドツーエンドに学習するチャンクワイズな注意機構であるHiLS(Hierarchical Landmark Sparse)アテンションを提案する。 それぞれのクエリは、検索したチャンクと独立して注目し、チャンク固有の情報を抽出し、その結果のアウトプットはチャンク検索スコアに従って融合される。 検索スコアをフォワードアテンション計算に組み込むことで、HILSはLM損失を直接最適化し、エンドツーエンドの検索学習とネイティブスパーストレーニングを可能にする。 実験結果から,HiLS-Attentionはドメイン内コンテキスト長に対して十分に注意を払っている場合に比較して,性能が向上することが示された。 一方、HiLS-Attentionは、トレーニングコンテキスト長が90%の精度で6,4\times以上を推定する。 さらに、既存のフルアテンションモデルをHILS-Attentionに変換して、軽量な事前トレーニングを継続し、ドメイン内のパフォーマンスを保ちながら、ウルトラロングコンテキストの外挿を取得できる。 少ないKVアクセスと計算と共に、HiLS-Attentionは通常の効率と性能のトレードオフを破り、フルアテンションのものと比べ、一般的な長文タスクにおいてより効率的かつ効果的である長文LLMを可能にする。

関連論文リスト

• Long-Context Modeling with Dynamic Hierarchical Sparse Attention for On-Device LLMs [17.499497967319332]
  データ駆動型フレームワークであるDynamic Hierarchical Sparse Attention (DHSA)を導入する。 DHSAは高い注意力と精度を一致させ、プリフィル遅延を20-60%削減し、ピークメモリ使用量を35%削減した。 Needle-in-a-Haystack Test と LongBench を用いたGemma2 実験では,DHSA の精度は高いが,プリフィル遅延は20～60%,ピークメモリ使用量は35%削減された。
  論文  参考訳（メタデータ） (2025-10-28T16:34:18Z)
• PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention [73.26995918610669]
  大きな言語モデル(LLM)は、長いコンテキストを処理する場合の注意機構の二次的な複雑さによって、効率のボトルネックに直面します。 本稿では,効果的かつ完全なコンテキスト拡張を容易にする新しいスパークアテンション設計であるPowerAttentionを紹介する。 実験によると、PowerAttentionは既存の静的スパースアテンションメソッドを5sim 40%$で上回っている。
  論文  参考訳（メタデータ） (2025-03-05T15:24:11Z)
• END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。 我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
  論文  参考訳（メタデータ） (2025-02-26T08:07:17Z)
• Ltri-LLM: Streaming Long Context Inference for LLMs with Training-Free Dynamic Triangular Attention Pattern [13.314424072207379]
  我々は,KVをスパンに分割し,それらをオフラインインデックスに格納し,関連するKVをメモリに格納するLtri-LLMフレームワークを提案する。 一般的な長文ベンチマークによる実験結果から,Ltri-LLMは効率のよいストリーミングベース推論を維持しつつ,FAに近い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-12-06T03:46:06Z)
• InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory [93.20588235940453]
  本稿では,トレーニング不要なメモリベースのInfLLMを提案する。 InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。 シーケンス長が$1,024$Kにスケールしても、InfLLMは依然として、長距離依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-07T06:50:42Z)
• LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models [83.98062659664785]
  大規模言語モデル(LLM)は通常、トランスフォーマーアーキテクチャの2次複雑さのために短いテキストセグメント(例:4Kトークン)でトレーニングする。 この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。 本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
  論文  参考訳（メタデータ） (2023-08-30T16:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。