Fugu-MT 論文翻訳(概要): Token-Efficient Long Video Understanding for Multimodal LLMs

論文の概要: Token-Efficient Long Video Understanding for Multimodal LLMs

arxiv url: http://arxiv.org/abs/2503.04130v1
Date: Thu, 06 Mar 2025 06:17:38 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-07 15:59:37.902706
Title: Token-Efficient Long Video Understanding for Multimodal LLMs
Title（参考訳）: マルチモーダルLLMのためのToken-Efficient Long Video Understanding
Authors: Jindong Jiang, Xiuyu Li, Zhijian Liu, Muyang Li, Guo Chen, Zhiqi Li, De-An Huang, Guilin Liu, Zhiding Yu, Kurt Keutzer, Sungjin Ahn, Jan Kautz, Hongxu Yin, Yao Lu, Song Han, Wonmin Byeon,
Abstract要約: STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
参考スコア（独自算出の注目度）: 101.70681093383365
License:
Abstract: Recent advances in video-based multimodal large language models (Video-LLMs) have significantly improved video understanding by processing videos as sequences of image frames. However, many existing methods treat frames independently in the vision backbone, lacking explicit temporal modeling, which limits their ability to capture dynamic patterns and efficiently handle long videos. To address these limitations, we introduce STORM (\textbf{S}patiotemporal \textbf{TO}ken \textbf{R}eduction for \textbf{M}ultimodal LLMs), a novel architecture incorporating a dedicated temporal encoder between the image encoder and the LLM. Our temporal encoder leverages the Mamba State Space Model to integrate temporal information into image tokens, generating enriched representations that preserve inter-frame dynamics across the entire video sequence. This enriched encoding not only enhances video reasoning capabilities but also enables effective token reduction strategies, including test-time sampling and training-based temporal and spatial pooling, substantially reducing computational demands on the LLM without sacrificing key temporal information. By integrating these techniques, our approach simultaneously reduces training and inference latency while improving performance, enabling efficient and robust video understanding over extended temporal contexts. Extensive evaluations show that STORM achieves state-of-the-art results across various long video understanding benchmarks (more than 5\% improvement on MLVU and LongVideoBench) while reducing the computation costs by up to $8\times$ and the decoding latency by 2.4-2.9$\times$ for the fixed numbers of input frames. Project page is available at https://research.nvidia.com/labs/lpr/storm
Abstract（参考訳）: ビデオベースマルチモーダル大言語モデル(ビデオ-LLM)の最近の進歩は、映像を画像フレームのシーケンスとして処理することで、映像理解を大幅に改善した。しかし、多くの既存の手法では、視覚のバックボーン内でフレームを独立に扱うことができ、明示的な時間的モデリングが欠如しているため、動的なパターンをキャプチャし、長い動画を効率的に処理する能力が制限されている。これらの制約に対処するために、画像エンコーダとLLMの間に専用の時間エンコーダを組み込んだ新しいアーキテクチャであるSTORM(\textbf{S}patiotemporal \textbf{TO}ken \textbf{R}eduction for \textbf{M}ultimodal LLMs)を導入する。我々の時間エンコーダは、Mamba State Space Modelを活用して、時間情報を画像トークンに統合し、ビデオシーケンス全体にわたってフレーム間のダイナミクスを保持するリッチな表現を生成する。このエンリッチエンコーディングは、ビデオ推論能力を高めるだけでなく、テストタイムサンプリングやトレーニングベースの時間と空間のプーリングを含む効果的なトークン削減戦略を可能にし、重要な時間情報を犠牲にすることなくLLMの計算要求を大幅に削減する。これらの手法を統合することで,トレーニングと推論のレイテンシを同時に低減し,性能の向上を実現し,時間的コンテキストの拡張による映像理解の効率化とロバスト化を実現している。大規模な評価では、STORMは様々な長いビデオ理解ベンチマーク(MLVUとLongVideoBenchの5倍以上の改善)で最先端の結果を達成し、計算コストを最大8\times$、復号遅延を2.4-2.9$\times$に削減している。プロジェクトページはhttps://research.nvidia.com/labs/lpr/stormで公開されている。

論文の概要: Token-Efficient Long Video Understanding for Multimodal LLMs

関連論文リスト