論文の概要: VidCompress: Memory-Enhanced Temporal Compression for Video Understanding in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.11417v1
• Date: Tue, 15 Oct 2024 09:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:01:11.779396
• Title: VidCompress: Memory-Enhanced Temporal Compression for Video Understanding in Large Language Models
• Title（参考訳）: VidCompress:大規模言語モデルにおけるビデオ理解のためのメモリ拡張テンポラル圧縮
• Authors: Xiaohan Lan, Yitian Yuan, Zequn Jie, Lin Ma,
• Abstract要約: VidCompressは、メモリ拡張時間圧縮を備えた新しいビデオLLMである。 複雑な時間空間関係を効率的にモデル化し、既存のビデオLLMを著しく上回る。
• 参考スコア（独自算出の注目度）: 25.668485023831874
• License:
• Abstract: Video-based multimodal large language models (Video-LLMs) possess significant potential for video understanding tasks. However, most Video-LLMs treat videos as a sequential set of individual frames, which results in insufficient temporal-spatial interaction that hinders fine-grained comprehension and difficulty in processing longer videos due to limited visual token capacity. To address these challenges, we propose VidCompress, a novel Video-LLM featuring memory-enhanced temporal compression. VidCompress employs a dual-compressor approach: a memory-enhanced compressor captures both short-term and long-term temporal relationships in videos and compresses the visual tokens using a multiscale transformer with a memory-cache mechanism, while a text-perceived compressor generates condensed visual tokens by utilizing Q-Former and integrating temporal contexts into query embeddings with cross attention. Experiments on several VideoQA datasets and comprehensive benchmarks demonstrate that VidCompress efficiently models complex temporal-spatial relations and significantly outperforms existing Video-LLMs.
• Abstract（参考訳）: ビデオベースマルチモーダル大言語モデル(ビデオLLM)は、ビデオ理解タスクにおいて大きな可能性を秘めている。 しかし、ほとんどのビデオ-LLMは、動画を個々のフレームのシーケンシャルなセットとして扱うため、時間的・空間的相互作用が不十分であり、視覚的トークンの容量が限られているため、細粒度の理解が妨げられ、ビデオの処理が困難になる。 これらの課題に対処するため、メモリ拡張時間圧縮を特徴とする新しいビデオLLMであるVidCompressを提案する。 VidCompressはデュアル圧縮方式を採用している: メモリ強化圧縮機はビデオ内の短期的および長期的時間的関係をキャプチャし、メモリキャッシュ機構を備えたマルチスケールトランスフォーマーを用いて視覚トークンを圧縮する。 いくつかのビデオQAデータセットと包括的なベンチマークの実験は、VidCompressが複雑な時間空間関係を効率的にモデル化し、既存のビデオLLMよりも大幅に優れていることを示した。

関連論文リスト

• LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
  LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
  論文  参考訳（メタデータ） (2024-10-22T21:21:37Z)
• VoCo-LLaMA: Towards Vision Compression with Large Language Models [56.20788367278211]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 LLMを用いて視覚トークンを圧縮する最初の方法であるVoCo-LLaMAを提案する。 提案手法は, 576$times$の圧縮比で最小性能損失を達成し, 最大94.8$%のFLOPと69.6$%の高速化を実現した。
  論文  参考訳（メタデータ） (2024-06-18T05:05:12Z)
• VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding [15.959757105308238]
  ビデオLMMは、視覚入力を処理するために、画像エンコーダまたはビデオエンコーダに依存しており、それぞれに独自の制限がある。 本稿では,映像エンコーダと映像エンコーダの相補的利点(大域的時間文脈モデリング)を組み合わせたビデオGPT+を紹介する。 本稿では,VCGBench,MVBench,Zero-shotなど,複数のビデオベンチマークのパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-06-13T17:59:59Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)
• MovieChat+: Question-aware Sparse Memory for Long Video Question Answering [36.14140811797466]
  長編ビデオの理解という課題を克服するために,MovieChatを提案する。 我々はトランスフォーマーのトークンを特別な設計のメモリ機構と組み合わせてメモリのキャリアとして使用しています。 MovieChatは1Kの長ビデオと2Kの時間的グラウンドラベルと14Kのマニュアルアノテーションを備えたMovieChat-1Kベンチマークとともに、長いビデオ理解における最先端のパフォーマンスを実現し、本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-04-26T06:17:04Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• TESTA: Temporal-Spatial Token Aggregation for Long-form Video-Language Understanding [20.16000249533665]
  TESTAは、似たようなフレームを適応的に集約することで、ビデオセマンティクスを凝縮する。 TESTAに基づいて,各ビデオブロックに分割した時空トークン集約モジュールを備えた事前学習ビデオ言語モデルを導入する。 段落間検索と長文ビデオQAタスクのための5つのデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:25:32Z)
• Compressed Vision for Efficient Video Understanding [83.97689018324732]
  本稿では,2時間ビデオの処理が可能なハードウェアを用いて,時間長動画の研究を可能にするフレームワークを提案する。 私たちは、JPEGなどの標準的なビデオ圧縮をニューラル圧縮に置き換え、圧縮されたビデオを通常のビデオネットワークへの入力として直接フィードできることを示します。
  論文  参考訳（メタデータ） (2022-10-06T15:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。