論文の概要: OmniSparse: Training-Aware Fine-Grained Sparse Attention for Long-Video MLLMs
- arxiv url: http://arxiv.org/abs/2511.12201v2
- Date: Tue, 18 Nov 2025 23:07:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-20 13:41:21.099012
- Title: OmniSparse: Training-Aware Fine-Grained Sparse Attention for Long-Video MLLMs
- Title（参考訳）: OmniSparse:長時間ビデオMLLMのための訓練用細粒度スパースアテンション
- Authors: Feng Chen, Yefei He, Shaoxuan He, Yuanyu He, Jing Liu, Lequan Lin, Akide Liu, Zhaoyang Li, Jiyuan Zhang, Zhenbang Sun, Bohan Zhuang, Qi Wu,
- Abstract要約: OmniSparseは、長時間ビデオMLLMのための、トレーニング対応のきめ細かなスパークアテンションフレームワークである。
実験結果から,OmniSparseはプリフィル時の2.7倍,デコード時の2.4倍のメモリ削減を実現しつつ,全注目性能と一致していることがわかった。
- 参考スコア（独自算出の注目度）: 43.78743496579736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing sparse attention methods primarily target inference-time acceleration by selecting critical tokens under predefined sparsity patterns. However, they often fail to bridge the training-inference gap and lack the capacity for fine-grained token selection across multiple dimensions such as queries, key-values (KV), and heads, leading to suboptimal performance and limited acceleration gains. In this paper, we introduce OmniSparse, a training-aware fine-grained sparse attention framework for long-video MLLMs, which operates in both training and inference with dynamic token budget allocation. Specifically, OmniSparse contains three adaptive and complementary mechanisms: (1) query selection via lazy-active classification, retaining active queries that capture broad semantic similarity while discarding most lazy ones that focus on limited local context and exhibit high functional redundancy; (2) KV selection with head-level dynamic budget allocation, where a shared budget is determined based on the flattest head and applied uniformly across all heads to ensure attention recall; and (3) KV cache slimming to reduce head-level redundancy by selectively fetching visual KV cache according to the head-level decoding query pattern. Experimental results show that OmniSparse matches the performance of full attention while achieving up to 2.7x speedup during prefill and 2.4x memory reduction during decoding.
- Abstract（参考訳）: 既存のスパースアテンション手法は主に、予め定義された間隔パターンの下で臨界トークンを選択することにより、推論時加速度をターゲットとする。
しかし、トレーニングと推論のギャップを埋めることができず、クエリ、キー値(KV)、ヘッドといった複数の次元にわたるきめ細かいトークンの選択能力が欠如しているため、パフォーマンスが最適以下で、アクセラレーションが制限される。
本稿では,長期ビデオMLLMのための細粒度スパルスアテンションフレームワークであるOmniSparseについて紹介する。
具体的には,(1) 遅延アクティブ分類によるクエリ選択,(2) 局所的コンテキストに限定した遅延を排除し,高い機能的冗長性を示す一方で,広範囲なセマンティックな類似性を捕捉するアクティブクエリの保持,(2) ヘッドレベルの動的予算割り当てによるKV選択,(3) ヘッドレベルのデコードクエリパターンに従って視覚的KVキャッシュを選択的に取得することにより,ヘッドレベルの冗長性を低減するためのKVキャッシュスリム化,の3つの適応的・補完的なメカニズムを含む。
実験結果から,OmniSparseはプリフィル時の2.7倍,デコード時の2.4倍のメモリ削減を実現しつつ,全注目性能と一致していることがわかった。
関連論文リスト
- AdaSpot: Spend Resolution Where It Matters for Precise Event Spotting [59.31340724915079]
イベントスポッティングは、スポーツ分析、ロボティクス、自律システムにおけるアプリケーションにとって重要なタスクである。
bfAdaSpotは厳格な評価基準の下で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-25T16:24:48Z) - Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。
私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。
実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
論文 参考訳（メタデータ） (2026-01-25T03:07:54Z) - Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。
SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。
本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-24T18:59:05Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-12-10T01:54:57Z) - Lethe: Layer- and Time-Adaptive KV Cache Pruning for Reasoning-Intensive LLM Serving [11.750209684686707]
大きな言語モデル(LLM)による生成的推論は、しばしば長い復号シーケンスを含む。
本稿では,動的KVキャッシュ管理フレームワークLetheを提案する。
Letheは様々なモデルやタスク間で効率と生成品質のバランスを良好に保ち、スループットを最大2.56倍に向上させる。
論文 参考訳（メタデータ） (2025-11-08T14:52:43Z) - DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning [6.468843780300177]
モデル精度を犠牲にすることなく計算効率を向上する訓練不要なスパースアテンション機構である textbfDELTA を提案する。
この結果から,中間注意マップの選択的再利用は,より効率的な長文推論への頑健な道を提供することが示された。
論文 参考訳（メタデータ） (2025-10-10T21:37:49Z) - VQL: An End-to-End Context-Aware Vector Quantization Attention for Ultra-Long User Behavior Modeling [12.619238878583703]
大規模レコメンデーションシステムでは、超長期のユーザ行動シーケンスは、進化する関心の豊かなシグナルを符号化する。
超長期動作モデリングのためのコンテキスト対応ベクトル量子化アテンションフレームワークであるVQLを提案する。
論文 参考訳（メタデータ） (2025-08-23T19:58:18Z) - TokenSelect: Efficient Long-Context Inference and Length Extrapolation for LLMs via Dynamic Token-Level KV Cache Selection [23.12497380673902]
Dynamic Token-Level KV Cache Selection (TokenSelect) は、高速で正確な長文推論のためのトレーニング不要な手法である。
TokenSelectの総合的な評価では、注意計算のスピードアップが最大23.84ドル、エンドツーエンドのレイテンシのアクセラレーションが最大2.28ドルである。
論文 参考訳（メタデータ） (2024-11-05T07:56:24Z) - S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。
スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。
本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
論文 参考訳（メタデータ） (2024-07-25T00:27:07Z) - Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。
我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。
認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
論文 参考訳（メタデータ） (2023-10-03T05:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。