論文の概要: Video-XL-2: Towards Very Long-Video Understanding Through Task-Aware KV Sparsification

• arxiv url: http://arxiv.org/abs/2506.19225v1
• Date: Tue, 24 Jun 2025 01:19:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.431188
• Title: Video-XL-2: Towards Very Long-Video Understanding Through Task-Aware KV Sparsification
• Title（参考訳）: Video-XL-2:タスク認識型KVスペーサー化による長時間の理解に向けて
• Authors: Minghao Qin, Xiangrui Liu, Zhengyang Liang, Yan Shu, Huaying Yuan, Juenjie Zhou, Shitao Xiao, Bo Zhao, Zheng Liu,
• Abstract要約: Video-XL-2は、タスク対応KVスペーシングに基づく長時間ビデオ理解に優れたコスト効率を提供する新しいMLLMである。 NVIDIA A100(80GB)のGPUで1万フレーム以上を処理でき、数千フレームをほんの数秒で処理できる。
• 参考スコア（独自算出の注目度）: 9.615466029246694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal large language models (MLLMs) models have made significant progress in video understanding over the past few years. However, processing long video inputs remains a major challenge due to high memory and computational costs. This makes it difficult for current models to achieve both strong performance and high efficiency in long video understanding. To address this challenge, we propose Video-XL-2, a novel MLLM that delivers superior cost-effectiveness for long-video understanding based on task-aware KV sparsification. The proposed framework operates with two key steps: chunk-based pre-filling and bi-level key-value decoding. Chunk-based pre-filling divides the visual token sequence into chunks, applying full attention within each chunk and sparse attention across chunks. This significantly reduces computational and memory overhead. During decoding, bi-level key-value decoding selectively reloads either dense or sparse key-values for each chunk based on its relevance to the task. This approach further improves memory efficiency and enhances the model's ability to capture fine-grained information. Video-XL-2 achieves state-of-the-art performance on various long video understanding benchmarks, outperforming existing open-source lightweight models. It also demonstrates exceptional efficiency, capable of processing over 10,000 frames on a single NVIDIA A100 (80GB) GPU and thousands of frames in just a few seconds.
• Abstract（参考訳）: MLLM(Multi-modal large language model)モデルは、ここ数年、ビデオ理解において大きな進歩を遂げてきた。 しかし、高いメモリと計算コストのため、長いビデオ入力を処理することは大きな課題である。 これにより、現在のモデルでは、長いビデオ理解において、強い性能と高い効率の両方を達成することが困難になる。 この課題に対処するために,タスク認識型KVスペーシングに基づく長時間ビデオ理解に優れたコスト効率を実現する新しいMLLMであるVideo-XL-2を提案する。 提案するフレームワークには,チャンクベースのプリフィルと,双方向のキー値デコードという,2つの重要なステップがある。 チャンクベースのプリフィルは、視覚トークンシーケンスをチャンクに分割し、チャンク内の全注意を集中させ、チャンク全体にまばらに注意を向ける。 これにより、計算とメモリのオーバーヘッドが大幅に削減される。 復号化中、二レベル鍵値復号法は、そのタスクとの関連性に基づいて、各チャンクに対して、濃密またはスパースなキー値のどちらかを選択的に再ロードする。 このアプローチは、メモリ効率をさらに向上し、きめ細かい情報をキャプチャするモデルの能力を向上する。 Video-XL-2は、様々な長いビデオ理解ベンチマークで最先端のパフォーマンスを達成し、既存のオープンソース軽量モデルより優れている。 NVIDIA A100(80GB)のGPUで1万フレーム以上を処理でき、数千フレームをほんの数秒で処理できる。

関連論文リスト

• Token-Efficient Long Video Understanding for Multimodal LLMs [101.70681093383365]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• VideoChat-Flash: Hierarchical Compression for Long-Context Video Modeling [43.485687038460895]
  マルチモーダル大言語モデル(MLLM)における長文ビデオモデリングの重要性 本稿では,モデルアーキテクチャ,トレーニングデータ,トレーニング戦略,評価ベンチマークといった側面からこの問題に対処することを目的とする。 我々はVideoChat-Flashという強力なビデオMLLMを構築し、メインストリームのビデオベンチマークとショートビデオベンチマークの両方で主要なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-12-31T18:01:23Z)
• ReTaKe: Reducing Temporal and Knowledge Redundancy for Long Video Understanding [55.320254859515714]
  ReTaKeは、ビデオLLMsが8倍のフレーム(最大2048年まで)を処理し、類似のモデルも3～5%縮小し、ビデオMME、MLVU、LongVideoBench、LVBenchなどと競合する。 私たちのコードはhttps://github.com/SCZwangxiao/video-ReTaKe.comで公開されています。
  論文  参考訳（メタデータ） (2024-12-29T15:42:24Z)
• Look Every Frame All at Once: Video-Ma$^2$mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing [52.050036778325094]
  Video-Ma$2$mbaは、Mamba-2フレームワークにステートスペースモデル(SSM)を組み込んだ新しいアーキテクチャである。 本手法は,標準勾配チェックポイントに比べてメモリフットプリントを大幅に削減する。 時間的ダイナミクスの詳細なキャプチャーを維持することで、長いビデオ理解タスクにおける応答の精度と関連性を改善することができる。
  論文  参考訳（メタデータ） (2024-11-29T04:12:13Z)
• Video-XL: Extra-Long Vision Language Model for Hour-Scale Video Understanding [25.61734041983714]
  Video-XLはMLLM固有のキー値スカラー化能力を活用して視覚入力を凝縮する新しい手法である。 ビデオXLの有効性は3つの側面から検証される。第一に、より優れた長ビデオ理解能力を実現し、同等の大きさの最先端モデルよりも優れる。
  論文  参考訳（メタデータ） (2024-09-22T15:13:31Z)
• VideoLLaMB: Long-context Video Understanding with Recurrent Memory Bridges [42.555895949250704]
  VideoLLaMBは、ブリッジ層内の時間メモリトークンを使用して、ビデオシーケンス全体のエンコーディングを可能にする新しいフレームワークである。 SceneTillingアルゴリズムは、ビデオを独立したセマンティックユニットに分割し、セマンティックな整合性を維持する。 効率面では、16フレームでトレーニングされたVideoLLaMBは、1つのNvidia A100 GPU上で最大320フレームをサポートする。
  論文  参考訳（メタデータ） (2024-09-02T08:52:58Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [57.758863967770594]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。