論文の概要: Long-Context Modeling with Dynamic Hierarchical Sparse Attention for On-Device LLMs

• arxiv url: http://arxiv.org/abs/2510.24606v1
• Date: Tue, 28 Oct 2025 16:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.274975
• Title: Long-Context Modeling with Dynamic Hierarchical Sparse Attention for On-Device LLMs
• Title（参考訳）: デバイス上でのLCMにおける動的階層的スパースアテンションを用いた長期モデリング
• Authors: Siheng Xiong, Joe Zou, Faramarz Fekri, Yae Jee Cho,
• Abstract要約: データ駆動型フレームワークであるDynamic Hierarchical Sparse Attention (DHSA)を導入する。 DHSAは高い注意力と精度を一致させ、プリフィル遅延を20-60%削減し、ピークメモリ使用量を35%削減した。 Needle-in-a-Haystack Test と LongBench を用いたGemma2 実験では,DHSA の精度は高いが,プリフィル遅延は20～60%,ピークメモリ使用量は35%削減された。
• 参考スコア（独自算出の注目度）: 17.499497967319332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quadratic cost of attention hinders the scalability of long-context LLMs, especially in resource-constrained settings. Existing static sparse methods such as sliding windows or global tokens utilizes the sparsity of attention to reduce the cost of attention, but poorly adapts to the content-dependent variations in attention due to their staticity. While previous work has proposed several dynamic approaches to improve flexibility, they still depend on predefined templates or heuristic mechanisms. Such strategies reduce generality and prune tokens that remain contextually important, limiting their accuracy across diverse tasks. To tackle these bottlenecks of existing methods for long-context modeling, we introduce Dynamic Hierarchical Sparse Attention (DHSA), a data-driven framework that dynamically predicts attention sparsity online without retraining. Our proposed DHSA adaptively segments sequences into variable-length chunks, then computes chunk representations by aggregating the token embeddings within each chunk. To avoid the bias introduced by varying chunk lengths, we apply length-normalized aggregation that scales the averaged embeddings by the square root of the chunk size. Finally, DHSA upsamples the chunk-level similarity scores to token level similarities to calculate importance scores that determine which token-level interactions should be preserved. Our experiments on Gemma2 with Needle-in-a-Haystack Test and LongBench show that DHSA matches dense attention in accuracy, while reducing prefill latency by 20-60% and peak memory usage by 35%. Compared to other representative baselines such as block sparse attention, DHSA achieves consistently higher accuracy (6-18% relative gains) with comparable or lower cost, offering an efficient and adaptable solution for long-context on-device LLMs.
• Abstract（参考訳）: 注意の二次コストは、特にリソース制約のある設定において、長文LLMのスケーラビリティを妨げる。 スライディングウインドウやグローバルトークンのような既存の静的スパース手法は、注意の空間性を利用して注意のコストを削減するが、その静的性により、コンテンツに依存した注意の変化にはあまり適応しない。 以前の研究では、柔軟性を改善するためのいくつかの動的なアプローチが提案されていたが、まだ事前に定義されたテンプレートやヒューリスティックなメカニズムに依存している。 このような戦略は、文脈的に重要なままの一般性と不規則なトークンを減らし、様々なタスクにまたがる正確さを制限する。 長時間コンテキストモデリングのための既存の手法のボトルネックに対処するため,データ駆動型フレームワークであるDynamic Hierarchical Sparse Attention (DHSA)を導入する。 提案したDHSAは,シーケンスを可変長チャンクに適応的に分割し,各チャンク内にトークンの埋め込みを集約することによりチャンク表現を算出する。 チャンク長の変化によるバイアスを回避するために,チャンクサイズの平方根による平均埋め込みを拡大する長さ正規化アグリゲーションを適用した。 最後に、DHSAはチャンクレベルの類似度スコアをトークンレベルの類似度にアップサンプルし、どのトークンレベルの相互作用を保存すべきかを決定する重要度スコアを算出する。 Needle-in-a-Haystack Test と LongBench を用いたGemma2 実験では,DHSA の精度は高いが,プリフィル遅延は20-60%,ピークメモリ使用量は35%削減された。 ブロックスパースアテンションなどの他の代表的ベースラインと比較すると、DHSAは同等または低コストの精度(6-18%の相対的なゲイン)を一貫して達成し、長いコンテキストのLLMに対して効率よく適応可能なソリューションを提供する。

関連論文リスト

• DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning [6.468843780300177]
  モデル精度を犠牲にすることなく計算効率を向上する訓練不要なスパースアテンション機構である textbfDELTA を提案する。 この結果から,中間注意マップの選択的再利用は,より効率的な長文推論への頑健な道を提供することが示された。
  論文  参考訳（メタデータ） (2025-10-10T21:37:49Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [58.044803442346115]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおいてブレークスルーを実現するが、推論中に計算の複雑さやメモリオーバーヘッドに悩まされる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークであり、遅延双方向スパースキャッシングを経由するスパースアテンションである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs [10.52833484759311]
  本稿では,空間適応型かつキャリブレーションフリーなスパースアテンション機構であるTacticを提案する。 固定されたトークン予算ではなく、累積的な注意スコアに基づいてトークンを動的に選択する。 我々は、Tacticが既存のスパースアテンションアルゴリズムより優れており、精度が良く、7.29倍のデコードアテンションスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2025-02-17T08:39:43Z)
• SparseAccelerate: Efficient Long-Context Inference for Mid-Range GPUs [0.0]
  SparseAccelerateは動的スパースアテンション手法であり、入力特性に基づいてその疎度パターンを適応する。 実験結果から,SparseAccelerateは最大1.04倍のTTTF遅延を32Kトークンで達成した。
  論文  参考訳（メタデータ） (2024-12-09T04:27:03Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Anchor Attention, Small Cache: Code Generation with Large Language Models [15.94784908771546]
  NLPの現在のプラクティスは、コード生成タスクにおいて、不正確な、あるいは幻覚を引き起こす可能性のある、スパースアテンションを使用することが多い。 本稿では,コンテキスト情報を抽出・圧縮するトークン・アンカー・アテンションを特徴とする新しいアプローチであるAnchorCoderを提案する。 モデルの性能の大部分を保ちながら、KVキャッシュの要求を大幅に削減できる(少なくとも70%)。
  論文  参考訳（メタデータ） (2024-11-11T02:47:05Z)
• SeerAttention: Learning Intrinsic Sparse Attention in Your LLMs [10.702409298302547]
  SeerAttentionは、大規模言語モデル自体からブロックレベルの注意空間を学習する。 Mixture of Experts (MoE)のゲーティング機構にインスパイアされたSeerAttentionは、学習可能なゲートで従来の注意を増進する。 評価の結果,SeerAttention は長文プリフィルの精度向上と低レイテンシ化を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-17T07:07:09Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。