論文の概要: OmniSparse: Training-Aware Fine-Grained Sparse Attention for Long-Video MLLMs

• arxiv url: http://arxiv.org/abs/2511.12201v2
• Date: Tue, 18 Nov 2025 23:07:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 13:41:21.099012
• Title: OmniSparse: Training-Aware Fine-Grained Sparse Attention for Long-Video MLLMs
• Title（参考訳）: OmniSparse:長時間ビデオMLLMのための訓練用細粒度スパースアテンション
• Authors: Feng Chen, Yefei He, Shaoxuan He, Yuanyu He, Jing Liu, Lequan Lin, Akide Liu, Zhaoyang Li, Jiyuan Zhang, Zhenbang Sun, Bohan Zhuang, Qi Wu,
• Abstract要約: OmniSparseは、長時間ビデオMLLMのための、トレーニング対応のきめ細かなスパークアテンションフレームワークである。 実験結果から,OmniSparseはプリフィル時の2.7倍,デコード時の2.4倍のメモリ削減を実現しつつ,全注目性能と一致していることがわかった。
• 参考スコア（独自算出の注目度）: 43.78743496579736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing sparse attention methods primarily target inference-time acceleration by selecting critical tokens under predefined sparsity patterns. However, they often fail to bridge the training-inference gap and lack the capacity for fine-grained token selection across multiple dimensions such as queries, key-values (KV), and heads, leading to suboptimal performance and limited acceleration gains. In this paper, we introduce OmniSparse, a training-aware fine-grained sparse attention framework for long-video MLLMs, which operates in both training and inference with dynamic token budget allocation. Specifically, OmniSparse contains three adaptive and complementary mechanisms: (1) query selection via lazy-active classification, retaining active queries that capture broad semantic similarity while discarding most lazy ones that focus on limited local context and exhibit high functional redundancy; (2) KV selection with head-level dynamic budget allocation, where a shared budget is determined based on the flattest head and applied uniformly across all heads to ensure attention recall; and (3) KV cache slimming to reduce head-level redundancy by selectively fetching visual KV cache according to the head-level decoding query pattern. Experimental results show that OmniSparse matches the performance of full attention while achieving up to 2.7x speedup during prefill and 2.4x memory reduction during decoding.
• Abstract（参考訳）: 既存のスパースアテンション手法は主に、予め定義された間隔パターンの下で臨界トークンを選択することにより、推論時加速度をターゲットとする。 しかし、トレーニングと推論のギャップを埋めることができず、クエリ、キー値(KV)、ヘッドといった複数の次元にわたるきめ細かいトークンの選択能力が欠如しているため、パフォーマンスが最適以下で、アクセラレーションが制限される。 本稿では,長期ビデオMLLMのための細粒度スパルスアテンションフレームワークであるOmniSparseについて紹介する。 具体的には,(1) 遅延アクティブ分類によるクエリ選択,(2) 局所的コンテキストに限定した遅延を排除し,高い機能的冗長性を示す一方で,広範囲なセマンティックな類似性を捕捉するアクティブクエリの保持,(2) ヘッドレベルの動的予算割り当てによるKV選択,(3) ヘッドレベルのデコードクエリパターンに従って視覚的KVキャッシュを選択的に取得することにより,ヘッドレベルの冗長性を低減するためのKVキャッシュスリム化,の3つの適応的・補完的なメカニズムを含む。 実験結果から,OmniSparseはプリフィル時の2.7倍,デコード時の2.4倍のメモリ削減を実現しつつ,全注目性能と一致していることがわかった。

関連論文リスト

• VQL: An End-to-End Context-Aware Vector Quantization Attention for Ultra-Long User Behavior Modeling [12.619238878583703]
  大規模レコメンデーションシステムでは、超長期のユーザ行動シーケンスは、進化する関心の豊かなシグナルを符号化する。 超長期動作モデリングのためのコンテキスト対応ベクトル量子化アテンションフレームワークであるVQLを提案する。
  論文  参考訳（メタデータ） (2025-08-23T19:58:18Z)
• TokenSelect: Efficient Long-Context Inference and Length Extrapolation for LLMs via Dynamic Token-Level KV Cache Selection [23.12497380673902]
  Dynamic Token-Level KV Cache Selection (TokenSelect) は、高速で正確な長文推論のためのトレーニング不要な手法である。 TokenSelectの総合的な評価では、注意計算のスピードアップが最大23.84ドル、エンドツーエンドのレイテンシのアクセラレーションが最大2.28ドルである。
  論文  参考訳（メタデータ） (2024-11-05T07:56:24Z)
• S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
  スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。 スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。 本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
  論文  参考訳（メタデータ） (2024-07-25T00:27:07Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。