論文の概要: Video-XL-Pro: Reconstructive Token Compression for Extremely Long Video Understanding

• arxiv url: http://arxiv.org/abs/2503.18478v1
• Date: Mon, 24 Mar 2025 09:21:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:35:55.631751
• Title: Video-XL-Pro: Reconstructive Token Compression for Extremely Long Video Understanding
• Title（参考訳）: Video-XL-Pro:極端に長いビデオ理解のための再構成型トーケン圧縮
• Authors: Xiangrui Liu, Yan Shu, Zheng Liu, Ao Li, Yang Tian, Bo Zhao,
• Abstract要約: Video-XL-Proは、非常に長いビデオ理解のための効率的な方法である。 Video-XL-Proは、1つのA100 GPUで8Kフレーム以上を処理できる。
• 参考スコア（独自算出の注目度）: 12.215829700340988
• License:
• Abstract: Despite advanced token compression techniques, existing multimodal large language models (MLLMs) still struggle with hour-long video understanding. In this work, we propose Video-XL-Pro, an efficient method for extremely long video understanding, built upon Reconstructive Compression of Tokens (ReCoT), a learnable module that leverages self-supervised learning to generate comprehensive and compact video tokens. ReCoT introduces two key components: (i) Dynamic Token Synthesizer (DTS): DTS generates pseudo-video tokens from static image tokens by learning intra-token relationships, which are then used in masked video modeling. (ii) Semantic-Guided Masking (SGM): SGM adaptively masks redundant visual tokens to facilitate more effective reconstructive learning. To improve training efficiency in MLLMs fine-tuning, we introduce a video-specific dataset pruning strategy and design a simple yet Query-aware Selector that enables the model to precisely locate query-relevant video tokens. With only 3B parameters, Video-XL-Pro outperforms most 7B models trained on larger datasets across multiple long video understanding benchmarks. Moreover, it can process over 8K frames on a single A100 GPU while maintaining high-quality performance.
• Abstract（参考訳）: 高度なトークン圧縮技術にもかかわらず、既存のマルチモーダル大言語モデル(MLLM)は1時間にわたるビデオ理解に苦戦している。 本研究では,自己教師付き学習を利用して,包括的でコンパクトなビデオトークンを生成する学習モジュールReconstructive Compression of Tokens(ReCoT)をベースとした,極端に長いビデオ理解の効率的な方法であるVideo-XL-Proを提案する。 ReCoTは2つの重要なコンポーネントを紹介している。 (i)動的トークン合成装置(DTS):DTSは静的画像トークンから擬似ビデオトークンを生成し、マスク付きビデオモデリングで使用される。 セマンティックガイドマスキング(SGM: Semantic-Guided Masking) SGMは、より効果的な再構築学習を促進するために、冗長な視覚トークンを適応的にマスクする。 MLLMの微調整におけるトレーニング効率を向上させるために,ビデオ固有のデータセットプルーニング戦略を導入し,クエリ関連ビデオトークンの正確な特定を可能にするシンプルなクエリ対応セレクタを設計する。 3Bパラメータだけで、Video-XL-Proは、複数の長いビデオ理解ベンチマークで、より大きなデータセットでトレーニングされたほとんどの7Bモデルを上回っている。 さらに、高品質な性能を維持しながら、1つのA100 GPUで8Kフレーム以上を処理できる。

関連論文リスト

• Dynamic-VLM: Simple Dynamic Visual Token Compression for VideoLLM [28.64108439552772]
  プロプライエタリなモデルから生成された大規模合成データセットを紹介する。 また、計算効率と性能のバランスをとる動的ビジュアルトークン圧縮アーキテクチャについても検討する。 提案手法は,様々な映像タスクにまたがって最先端の成果を達成し,印象的な一般化を示す。
  論文  参考訳（メタデータ） (2024-12-12T18:20:41Z)
• TS-LLaVA: Constructing Visual Tokens through Thumbnail-and-Sampling for Training-Free Video Large Language Models [52.590072198551944]
  近年の多モーダル言語モデル(LLM)の進歩は,多モーダルな内容を理解する上で大きな成功を収めている。 ビデオ理解タスクでは、高品質でキュレートされたビデオテキストペアリングデータの不足により、トレーニングベースのビデオLLMの構築が困難である。 本研究では,トレーニングフリーのビデオ LLM 構築における既存の圧縮戦略の限界について検討する。
  論文  参考訳（メタデータ） (2024-11-17T13:08:29Z)
• Video-XL: Extra-Long Vision Language Model for Hour-Scale Video Understanding [25.61734041983714]
  Video-XLはMLLM固有のキー値スカラー化能力を活用して視覚入力を凝縮する新しい手法である。 ビデオXLの有効性は3つの側面から検証される。第一に、より優れた長ビデオ理解能力を実現し、同等の大きさの最先端モデルよりも優れる。
  論文  参考訳（メタデータ） (2024-09-22T15:13:31Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [57.758863967770594]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)
• TESTA: Temporal-Spatial Token Aggregation for Long-form Video-Language Understanding [20.16000249533665]
  TESTAは、似たようなフレームを適応的に集約することで、ビデオセマンティクスを凝縮する。 TESTAに基づいて,各ビデオブロックに分割した時空トークン集約モジュールを備えた事前学習ビデオ言語モデルを導入する。 段落間検索と長文ビデオQAタスクのための5つのデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:25:32Z)
• VideoMAE V2: Scaling Video Masked Autoencoders with Dual Masking [57.552798046137646]
  Video masked autoencoder(ビデオマスクオートエンコーダ)は、ビデオ基礎モデルを構築するための、スケーラブルで汎用的な自己監督型プレトレーナーである。 我々は10億のパラメータを持つビデオViTモデルのトレーニングに成功した。
  論文  参考訳（メタデータ） (2023-03-29T14:28:41Z)
• VIOLET : End-to-End Video-Language Transformers with Masked Visual-token Modeling [88.30109041658618]
  ビデオ言語(VidL)モデリングにおける大きな課題は、画像/映像理解モデルから抽出された固定されたビデオ表現と、下流のVidLデータとの切り離しにある。 我々は、ビデオ入力の時間的ダイナミクスを明示的にモデル化するビデオトランスを採用した、完全なエンドツーエンドVIdeO-LanguagE変換器であるVIOLETを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:31:20Z)
• VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning [82.09856883441044]
  ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。 空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。 また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
  論文  参考訳（メタデータ） (2021-06-21T16:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。