論文の概要: HieraVid: Hierarchical Token Pruning for Fast Video Large Language Models
- arxiv url: http://arxiv.org/abs/2604.01881v1
- Date: Thu, 02 Apr 2026 10:40:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-03 14:21:10.686725
- Title: HieraVid: Hierarchical Token Pruning for Fast Video Large Language Models
- Title（参考訳）: HieraVid: 高速ビデオ大言語モデルのための階層型トークンプルーニング
- Authors: Yansong Guo, Chaoyang Zhu, Jiayi Ji, Jianghang Lin, Liujuan Cao,
- Abstract要約: HieraVidは階層的なプルーニングフレームワークで、視覚的冗長性を徐々に動的に減少させる。
HieraVidの有効性を評価するために,広範に使用されている4つのビデオ理解ベンチマークについて広範な実験を行った。
トークンの30%しか保持されていないHieraVidは、それぞれLLaVA-Video-7BとLLaVA-OneVision-7Bのパフォーマンスの98%と99%を維持しながら、新しい最先端のパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 43.7747080569325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video Large Language Models (VideoLLMs) have demonstrated impressive capabilities in video understanding, yet the massive number of input video tokens incurs a significant computational burden for deployment. Existing methods mainly prune video tokens at input level while neglecting the inherent information structure embedded in videos and large language models (LLMs). To address this, we propose HieraVid, a hierarchical pruning framework that progressively and dynamically reduces visual redundancy. Based on two observations that videos possess the segment-frame structure and LLMs internally propagate multi-modal information unidirectionally, we decompose pruning into three levels: 1) segment-level, where video tokens are first temporally segmented and spatially merged; 2) frame-level, where similar frames within the same segment are jointly pruned to preserve diversity; 3) layer-level, redundancy gradually shrinks as LLM layer increases w/o compromising performance. We conduct extensive experiments on four widely used video understanding benchmarks to comprehensively evaluate the effectiveness of HieraVid. Remarkably, with only 30% of tokens retained, HieraVid achieves new state-of-the-art performance, while maintaining over 98% and 99% of the performance of LLaVA-Video-7B and LLaVA-OneVision-7B, respectively.
- Abstract（参考訳）: Video Large Language Models (VideoLLMs) はビデオ理解において印象的な機能を示しているが、膨大な数の入力ビデオトークンは、デプロイに多大な計算負担をもたらす。
既存の手法では、ビデオや大言語モデル(LLM)に埋め込まれた固有の情報構造を無視しつつ、入力レベルでビデオトークンをプルークする。
これを解決するために,階層型プルーニングフレームワークであるHieraVidを提案する。
ビデオがセグメントフレーム構造を持ち、LCMが内部的に一方向のマルチモーダル情報を伝搬するという2つの観察に基づいて、プルーニングを3つのレベルに分解する。
1) ビデオトークンを最初に時間的に分割し,空間的にマージするセグメントレベル
2) 同セグメント内の類似のフレームが多様性を維持するために共同で刈り取られているフレームレベル
3) 層レベルの冗長性は, LLM層がw/oコンプロミング性能を向上するにつれて徐々に低下する。
HieraVidの有効性を総合的に評価するために,広範に使用されている4つのビデオ理解ベンチマークについて広範な実験を行った。
注目すべきは、トークンの30%しか保持されていないHieraVidは、それぞれLLaVA-Video-7BとLLaVA-OneVision-7Bのパフォーマンスの98%と99%を維持しながら、新しい最先端のパフォーマンスを実現していることだ。
関連論文リスト
- VideoScaffold: Elastic-Scale Visual Hierarchies for Streaming Video Understanding in MLLMs [28.026438743789907]
VideoScaffoldはビデオ理解のストリーミング用に設計された動的表現フレームワークである。
微粒な視覚的意味を保ちながら、ビデオの長さに応じてイベントの粒度を適応的に調整する。
このフレームワークはモジュール式でプラグアンドプレイで、既存の画像ベースのMLLMをシームレスに継続的ビデオ理解に拡張する。
論文 参考訳（メタデータ） (2025-12-23T03:33:45Z) - MMG-Vid: Maximizing Marginal Gains at Segment-level and Token-level for Efficient Video LLMs [67.75865317787708]
MMG-Vidは、ビデオ理解のためのトレーニング不要なビジュアルトークンプルーニングフレームワークである。
MMG-Vidはオリジナルのパフォーマンスの99.5%以上を維持でき、視覚トークンの75%を効果的に削減できることを示す。
論文 参考訳（メタデータ） (2025-08-28T17:50:03Z) - Multi-Level LVLM Guidance for Untrimmed Video Action Recognition [0.0]
本稿では,低レベルの視覚的特徴と高レベルの意味情報とのギャップを埋める新しいアーキテクチャであるイベント・テンポラライズド・ビデオ・トランスフォーマー(ECVT)を紹介する。
ActivityNet v1.3とTHUMOS14の実験では、ECVTは最先端のパフォーマンスを達成しており、平均mAPは40.5%、mAP@0.5は67.1%である。
論文 参考訳（メタデータ） (2025-08-24T16:45:21Z) - An Empirical Study on How Video-LLMs Answer Video Questions [41.97630658989303]
Video Large Language Models (Video-LLMs) は、ビデオ質問に答える強力な機能を示している。
私たちの知る限り、ビデオ-LLMが内部でどのように処理し、ビデオコンテンツを理解するかを体系的に明らかにしたのは、これが初めてです。
論文 参考訳（メタデータ） (2025-08-21T08:42:35Z) - Perceive Anything: Recognize, Explain, Caption, and Segment Anything in Images and Videos [53.723410664944566]
本稿では,画像やビデオの総合的な領域レベルの視覚的理解のためのフレームワークであるPerceive Anything Model(PAM)を提案する。
提案手法は,Large Language Models (LLMs) を統合することで,強力なセグメンテーションモデルSAM 2を拡張し,オブジェクトセグメンテーションの同時実現を可能にする。
SAM 2のリッチな視覚的特徴をマルチモーダルトークンに効率的に変換するために、Semantic Perceiverという重要なコンポーネントが導入されている。
論文 参考訳（メタデータ） (2025-06-05T17:51:39Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。
エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。
提案手法の強い時間的推論とセグメンテーション能力について検討した。
論文 参考訳（メタデータ） (2025-01-15T03:17:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。