論文の概要: VidCompress: Memory-Enhanced Temporal Compression for Video Understanding in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.11417v1
• Date: Tue, 15 Oct 2024 09:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:35.70273
• Title: VidCompress: Memory-Enhanced Temporal Compression for Video Understanding in Large Language Models
• Title（参考訳）: VidCompress:大規模言語モデルにおけるビデオ理解のためのメモリ拡張テンポラル圧縮
• Authors: Xiaohan Lan, Yitian Yuan, Zequn Jie, Lin Ma,
• Abstract要約: VidCompressは、メモリ拡張時間圧縮を備えた新しいビデオLLMである。 複雑な時間空間関係を効率的にモデル化し、既存のビデオLLMを著しく上回る。
• 参考スコア（独自算出の注目度）: 25.668485023831874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-based multimodal large language models (Video-LLMs) possess significant potential for video understanding tasks. However, most Video-LLMs treat videos as a sequential set of individual frames, which results in insufficient temporal-spatial interaction that hinders fine-grained comprehension and difficulty in processing longer videos due to limited visual token capacity. To address these challenges, we propose VidCompress, a novel Video-LLM featuring memory-enhanced temporal compression. VidCompress employs a dual-compressor approach: a memory-enhanced compressor captures both short-term and long-term temporal relationships in videos and compresses the visual tokens using a multiscale transformer with a memory-cache mechanism, while a text-perceived compressor generates condensed visual tokens by utilizing Q-Former and integrating temporal contexts into query embeddings with cross attention. Experiments on several VideoQA datasets and comprehensive benchmarks demonstrate that VidCompress efficiently models complex temporal-spatial relations and significantly outperforms existing Video-LLMs.
• Abstract（参考訳）: ビデオベースマルチモーダル大言語モデル(ビデオLLM)は、ビデオ理解タスクにおいて大きな可能性を秘めている。 しかし、ほとんどのビデオ-LLMは、動画を個々のフレームのシーケンシャルなセットとして扱うため、時間的・空間的相互作用が不十分であり、視覚的トークンの容量が限られているため、細粒度の理解が妨げられ、ビデオの処理が困難になる。 これらの課題に対処するため、メモリ拡張時間圧縮を特徴とする新しいビデオLLMであるVidCompressを提案する。 VidCompressはデュアル圧縮方式を採用している: メモリ強化圧縮機はビデオ内の短期的および長期的時間的関係をキャプチャし、メモリキャッシュ機構を備えたマルチスケールトランスフォーマーを用いて視覚トークンを圧縮する。 いくつかのビデオQAデータセットと包括的なベンチマークの実験は、VidCompressが複雑な時間空間関係を効率的にモデル化し、既存のビデオLLMよりも大幅に優れていることを示した。

関連論文リスト

• HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
  HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。 マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
  論文  参考訳（メタデータ） (2025-03-14T15:36:39Z)
• Token-Efficient Long Video Understanding for Multimodal LLMs [101.70681093383365]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• Large Motion Video Autoencoding with Cross-modal Video VAE [52.13379965800485]
  ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。 既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。 本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-12-23T18:58:24Z)
• IQViC: In-context, Question Adaptive Vision Compressor for Long-term Video Understanding LMMs [0.0]
  我々は、新しいビジュアルコンプレッサー、IQViC(In-context, Question Adaptive Visual)を組み込んだ長期ビデオ理解のためのフレームワークを提案する。 IQViCはトランスフォーマーベースのビジュアル圧縮機であり、ビデオの完全な視覚的特徴に依存する既存の方法とは異なり、質問条件付きテキスト内圧縮を可能にする。 提案するIQViCフレームワークの有効性と,映像理解の精度とメモリ効率の観点から,最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T06:52:02Z)
• PVC: Progressive Visual Token Compression for Unified Image and Video Processing in Large Vision-Language Models [64.9366388601049]
  ビジュアルトークン圧縮は、視覚入力の相当なトークン長を減らすために利用される。 我々は,プログレッシブ・ビジュアル・トークン圧縮と呼ばれる統一的なトークン圧縮戦略を導入する。 本モデルは,様々なビデオ理解ベンチマークにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-12T18:59:40Z)
• VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
  空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。 GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。 フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-22T08:33:36Z)
• LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
  LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
  論文  参考訳（メタデータ） (2024-10-22T21:21:37Z)
• VoCo-LLaMA: Towards Vision Compression with Large Language Models [56.20788367278211]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 LLMを用いて視覚トークンを圧縮する最初の方法であるVoCo-LLaMAを提案する。 提案手法は, 576$times$の圧縮比で最小性能損失を達成し, 最大94.8$%のFLOPと69.6$%の高速化を実現した。
  論文  参考訳（メタデータ） (2024-06-18T05:05:12Z)
• VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding [15.959757105308238]
  ビデオLMMは、視覚入力を処理するために、画像エンコーダまたはビデオエンコーダに依存しており、それぞれに独自の制限がある。 本稿では,映像エンコーダと映像エンコーダの相補的利点(大域的時間文脈モデリング)を組み合わせたビデオGPT+を紹介する。 本稿では,VCGBench,MVBench,Zero-shotなど,複数のビデオベンチマークのパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-06-13T17:59:59Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)
• MovieChat+: Question-aware Sparse Memory for Long Video Question Answering [36.14140811797466]
  長編ビデオの理解という課題を克服するために,MovieChatを提案する。 我々はトランスフォーマーのトークンを特別な設計のメモリ機構と組み合わせてメモリのキャリアとして使用しています。 MovieChatは1Kの長ビデオと2Kの時間的グラウンドラベルと14Kのマニュアルアノテーションを備えたMovieChat-1Kベンチマークとともに、長いビデオ理解における最先端のパフォーマンスを実現し、本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-04-26T06:17:04Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• TESTA: Temporal-Spatial Token Aggregation for Long-form Video-Language Understanding [20.16000249533665]
  TESTAは、似たようなフレームを適応的に集約することで、ビデオセマンティクスを凝縮する。 TESTAに基づいて,各ビデオブロックに分割した時空トークン集約モジュールを備えた事前学習ビデオ言語モデルを導入する。 段落間検索と長文ビデオQAタスクのための5つのデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:25:32Z)
• Compressed Vision for Efficient Video Understanding [83.97689018324732]
  本稿では,2時間ビデオの処理が可能なハードウェアを用いて,時間長動画の研究を可能にするフレームワークを提案する。 私たちは、JPEGなどの標準的なビデオ圧縮をニューラル圧縮に置き換え、圧縮されたビデオを通常のビデオネットワークへの入力として直接フィードできることを示します。
  論文  参考訳（メタデータ） (2022-10-06T15:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。