論文の概要: EchoPrune: Interpreting Redundancy as Temporal Echoes for Efficient VideoLLMs

• arxiv url: http://arxiv.org/abs/2605.10050v1
• Date: Mon, 11 May 2026 06:23:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.570919
• Title: EchoPrune: Interpreting Redundancy as Temporal Echoes for Efficient VideoLLMs
• Title（参考訳）: EchoPrune:効率的なビデオLLMのためのテンポラルエコーとして冗長性を解釈する
• Authors: Jiameng Li, Minye Wu, Jiezhang Cao, Aleksei Tiulpin, Matthew B. Blaschko,
• Abstract要約: EchoPrune は (i) クエリ誘導の相互関連と (ii) 時間的再構成エラーによって視覚トークンをスコアする。 EchoPruneは、同じトークン予算の下で、ビデオLLMが最大20倍のフレームを処理できることを示します。
• 参考スコア（独自算出の注目度）: 25.752360610161137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-form video understanding remains challenging for Video Large Language Models (VideoLLMs), as the dense frame sampling introduces massive visual tokens while sparse sampling risks missing critical temporal evidence and leading to LLM hallucination. Existing training-free token reduction methods either treat videos equally as static images or rely on segment-level merging heuristics, which weaken fine-grained spatiotemporal modeling and introduce additional overhead. In this paper, we propose EchoPrune, a lightweight and training-free token pruning method that improves temporal resolution under a fixed LLM-side visual token budget. Our core idea is to interpret redundant video tokens as temporal echoes: if a token is well reconstructed from the previous frame, it is merely a temporally redundant echo; otherwise, it may capture new events, motion, or query-relevant visual evidence. Based on this insight, EchoPrune scores visual tokens by (i) query-guided crossmodal relevance and (ii) temporal reconstruction error, measured by correspondence matching and echo matching across consecutive frames. The selected tokens preserve task-relevant cues and temporal novelty while suppressing predictable redundancy, allowing VideoLLMs to observe more frames without increasing the decoding budget. Extensive experiments on LLaVA-OV, Qwen2.5VL, and Qwen3VL across six video understanding benchmarks show that EchoPrune enables VideoLLMs to process up to 20x frames under the same token budget, yielding improved performance (+8.6%) and inference speedup (5.6x for prefilling) on Qwen2.5VL-7B.
• Abstract（参考訳）: ビデオ大言語モデル(VideoLLMs)では、高密度フレームサンプリングが大量のビジュアルトークンを導入し、スパースサンプリングは重要な時間的証拠を欠くリスクを減らし、LLM幻覚につながるため、ビデオ大言語モデル(VideoLLMs)の長文ビデオ理解は依然として困難である。 既存のトレーニング不要なトークン削減手法は、動画を静的画像として等しく扱うか、あるいはセグメントレベルのマージヒューリスティックに依存している。 本稿では,固定LDM側の視覚トークン予算の下で時間分解能を向上させる軽量かつトレーニング不要なトークンプルーニング手法であるEchoPruneを提案する。 我々の中核的な考え方は、冗長なビデオトークンを時間的エコーとして解釈することである。トークンが以前のフレームから十分に再構成されている場合、それは単に時間的に冗長なエコーである。 この洞察に基づいて、EchoPruneは視覚トークンをスコアする (i)クエリ誘導のクロスモーダル関連性及び (II)連続フレーム間の対応マッチングとエコーマッチングによって測定された時間的再構成誤差。 選択されたトークンは、予測可能な冗長性を抑えつつ、タスク関連キューと時間的ノベルティを保ち、ビデオLLMはデコード予算を増やすことなくより多くのフレームを観察できる。 LLaVA-OV、Qwen2.5VL、Qwen3VLの6つのビデオ理解ベンチマークによる大規模な実験により、EchoPruneは、ビデオLLMが同じトークン予算の下で最大20倍のフレームを処理でき、Qwen2.5VL-7Bにおける性能(+8.6%)と推論速度(5.6倍)が改善された。

関連論文リスト

• ViKey: Enhancing Temporal Understanding in Videos via Visual Prompting [17.594941754364484]
  Video Large Language Models (VideoLLMs) は多様なマルチモーダルビデオタスクで高いパフォーマンスを実現している。 高精細ビデオフレーム処理の計算コストを低減するため,フレーム選択などの効率指向手法が広く採用されている。 本稿では、VPとKFM(Keyword-Frame Mapping)モジュールを組み合わせたトレーニングフリーフレームワークであるViKeyを紹介する。
  論文  参考訳（メタデータ） (2026-03-24T13:32:52Z)
• Dense Video Understanding with Gated Residual Tokenization [49.17263029080152]
  高時間分解能は、ビデオ理解における微細な細部を捉えるのに不可欠である。 現在のベンチマークは主に低フレームレートサンプリングに依存している。 Dense Video Understanding (DVU)は、トークン化時間とトークンオーバーヘッドの両方を削減することで、高FPSビデオの理解を可能にする。
  論文  参考訳（メタデータ） (2025-09-17T17:34:40Z)
• VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers [23.541896057977745]
  VideoScanは、リアルタイムビデオインタラクションのための効率的な視覚言語モデル(VLM)推論フレームワークである。 VideoScanでは、各フレームを表すために単一のセマンティックキャリアトークンを使用している。
  論文  参考訳（メタデータ） (2025-03-12T13:30:40Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。