論文の概要: LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding

• arxiv url: http://arxiv.org/abs/2410.17434v1
• Date: Tue, 22 Oct 2024 21:21:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:39.245994
• Title: LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding
• Title（参考訳）: LongVU: 長時間ビデオ言語理解のための時空間適応圧縮
• Abstract要約: LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
• 参考スコア（独自算出の注目度）: 65.46303012350207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have shown promising progress in understanding and analyzing video content. However, processing long videos remains a significant challenge constrained by LLM's context size. To address this limitation, we propose LongVU, a spatiotemporal adaptive compression mechanism thats reduces the number of video tokens while preserving visual details of long videos. Our idea is based on leveraging cross-modal query and inter-frame dependencies to adaptively reduce temporal and spatial redundancy in videos. Specifically, we leverage DINOv2 features to remove redundant frames that exhibit high similarity. Then we utilize text-guided cross-modal query for selective frame feature reduction. Further, we perform spatial token reduction across frames based on their temporal dependencies. Our adaptive compression strategy effectively processes a large number of frames with little visual information loss within given context length. Our LongVU consistently surpass existing methods across a variety of video understanding benchmarks, especially on hour-long video understanding tasks such as VideoMME and MLVU. Given a light-weight LLM, our LongVU also scales effectively into a smaller size with state-of-the-art video understanding performance.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、ビデオコンテンツの理解と分析において、有望な進歩を示している。 しかし、長いビデオの処理はLLMのコンテキストサイズに制約される重要な課題である。 この制限に対処するために、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減少させる時空間適応圧縮機構であるLongVUを提案する。 我々のアイデアは、ビデオにおける時間的および空間的冗長性を適応的に低減するために、クロスモーダルクエリとフレーム間の依存関係を活用することに基づいている。 具体的には、DINOv2の機能を活用して、高い類似性を示す冗長フレームを除去する。 次に,テキスト誘導型クロスモーダルクエリを用いてフレーム特徴量削減を行う。 さらに,時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。 我々の適応圧縮戦略は、与えられたコンテキスト内で視覚的情報損失が少ない多数のフレームを効果的に処理する。 我々のLongVUは、ビデオ理解ベンチマーク、特にビデオMMEやMLVUのような1時間にわたるビデオ理解タスクにおいて、既存の手法を一貫して上回っている。 我々のLongVUは軽量のLLMを前提として、最先端のビデオ理解性能を持つより小さなサイズに効果的にスケールします。

関連論文リスト

• FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding [55.700832127331324]
  FLoCは、施設位置関数に基づく効率的なビジュアルトークン圧縮フレームワークである。 本手法は,トークンのコンパクトな部分集合を迅速に選択することにより,顕著な効率向上を実現する。 私たちのアプローチは、トレーニング不要、モデル非依存、クエリ非依存で、汎用的なソリューションを提供しています。
  論文  参考訳（メタデータ） (2025-10-31T17:29:39Z)
• From Frames to Clips: Efficient Key Clip Selection for Long-Form Video Understanding [43.82717677801915]
  ビデオ大言語モデル(VLM)は様々な視覚言語タスクにおいて顕著な成果を上げている。 生のビデオフレームから生成される膨大な数の視覚トークンが、モデルのコンテキストウィンドウを消費する。 分離されたキーフレームからキークリップへの選択を、短い時間的コヒーレントなセグメントに拡張することで、ビデオの理解が向上することを示す。
  論文  参考訳（メタデータ） (2025-10-02T17:43:01Z)
• Free-MoRef: Instantly Multiplexing Context Perception Capabilities of Video-MLLMs within Single Inference [88.57742986765238]
  Free-MoRefは、ビデオMLLMのコンテキスト認識能力を多重化するトレーニング不要のアプローチである。 実験によると、Free-MoRefは1つのA100 GPUで圧縮することなく、2$times$から8$times$の入力フレームを完全に認識できる。
  論文  参考訳（メタデータ） (2025-08-04T07:31:10Z)
• Clapper: Compact Learning and Video Representation in VLMs [15.564506713994406]
  現在の視覚言語モデル(VLM)は、多様なビデオ理解アプリケーションにまたがる顕著な機能を示している。 本稿では,映像表現の速度を遅くする手法であるクラッパーを提案し,時間空間符号化を効率的にするためのTimePerceiverという新しいモジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:52:17Z)
• Multimodal Long Video Modeling Based on Temporal Dynamic Context [13.979661295432964]
  時間的動的コンテキスト(TDC)と呼ばれるフレーム間の時間的関係を利用した動的長ビデオ符号化手法を提案する。 ビデオはフレーム間の類似性に基づいて意味的に一貫したシーンに分割し、各フレームを視覚音響エンコーダを使用してトークンにエンコードする。 極端に長いビデオを扱うために,複数のビデオセグメントから回答を段階的に抽出する学習自由連鎖戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-14T17:34:06Z)
• Exploiting Temporal State Space Sharing for Video Semantic Segmentation [53.8810901249897]
  ビデオセマンティックセグメンテーション(VSS)はシーンの時間的進化を理解する上で重要な役割を担っている。 従来の手法では、ビデオはフレーム単位で、あるいは短い時間ウィンドウで分割されることが多く、時間的コンテキストや冗長な計算、重いメモリ要求に繋がる。 本研究では,時間的特徴共有にマンバ状態空間モデルを活用するための時間的ビデオ状態空間共有アーキテクチャを提案する。 本モデルでは,映像フレーム間の関連情報を効率的に伝播する選択的ゲーティング機構を特徴とし,メモリ量の多い機能プールの必要性を解消する。
  論文  参考訳（メタデータ） (2025-03-26T01:47:42Z)
• AdaReTaKe: Adaptive Redundancy Reduction to Perceive Longer for Video-language Understanding [55.320254859515714]
  MLLM(Multimodal Large Language Models)は、ビデオ理解に革命をもたらしたが、長いビデオを処理する際の文脈長によって制限されている。 AdaReTaKeは,時間と層間の圧縮比を理論的保証とともに割り当てることで,視覚的冗長性を柔軟に低減する訓練自由手法である。 VideoMME、MLVU、LongVideoBench、LVBenchのデータセットの実験では、AdaReTaKeは既存の7Bモデルと72Bモデルでそれぞれ2.3%、そして2.8%を上回っている。
  論文  参考訳（メタデータ） (2025-03-16T16:14:52Z)
• BIMBA: Selective-Scan Compression for Long-Range Video Question Answering [46.199493246921435]
  長いビデオにおけるビデオ質問回答(VQA)は、関連する情報を抽出する上で重要な課題である。 長大なビデオを扱うための効率的な状態空間モデルであるBIMBAを紹介する。
  論文  参考訳（メタデータ） (2025-03-12T17:57:32Z)
• Token-Efficient Long Video Understanding for Multimodal LLMs [101.70681093383365]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• ReTaKe: Reducing Temporal and Knowledge Redundancy for Long Video Understanding [55.320254859515714]
  ReTaKeは、ビデオLLMsが8倍のフレーム(最大2048年まで)を処理し、類似のモデルも3～5%縮小し、ビデオMME、MLVU、LongVideoBench、LVBenchなどと競合する。 私たちのコードはhttps://github.com/SCZwangxiao/video-ReTaKe.comで公開されています。
  論文  参考訳（メタデータ） (2024-12-29T15:42:24Z)
• AdaCM$^2$: On Understanding Extremely Long-Term Video with Adaptive Cross-Modality Memory Reduction [10.579335027350263]
  AdaCM$2$は、ビデオストリーム上のビデオテキストアライメントに対する適応型クロスモダリティメモリリダクションアプローチである。 最大65%のGPUメモリ消費削減で、LVUデータセットの複数のタスク間で4.5%の改善を実現している。
  論文  参考訳（メタデータ） (2024-11-19T18:04:13Z)
• Visual Context Window Extension: A New Perspective for Long Video Understanding [45.134271969594614]
  我々は、コンテキストウィンドウの観点から、長いビデオ理解の課題に取り組む。 視覚的コンテキストウィンドウを拡張し,LMMを長時間の映像理解タスクに適用することを提案する。 ビデオフレーム数の増加に伴い,本手法は連続的に性能を向上する。
  論文  参考訳（メタデータ） (2024-09-30T07:25:16Z)
• Long Context Transfer from Language to Vision [74.78422371545716]
  ビデオシーケンスは貴重な時間情報を提供するが、既存の大規模マルチモーダルモデル(LMM)は非常に長いビデオを理解するには不十分である。 本稿では,言語モデルの観点からこの問題にアプローチする。 言語バックボーンの文脈長を単純に外挿することで、LMMはビデオトレーニングなしで桁違いに多くの視覚的トークンを理解できるようになる。
  論文  参考訳（メタデータ） (2024-06-24T17:58:06Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)
• LVCHAT: Facilitating Long Video Comprehension [25.395689904747965]
  本稿では,Long Video Chat (LVChat) を提案する。 LVは、長ビデオのQAデータセットと長ビデオのキャプションベンチマークにおいて、既存の手法を最大27%上回っている。
  論文  参考訳（メタデータ） (2024-02-19T11:59:14Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [54.90226700939778]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)
• TESTA: Temporal-Spatial Token Aggregation for Long-form Video-Language Understanding [20.16000249533665]
  TESTAは、似たようなフレームを適応的に集約することで、ビデオセマンティクスを凝縮する。 TESTAに基づいて,各ビデオブロックに分割した時空トークン集約モジュールを備えた事前学習ビデオ言語モデルを導入する。 段落間検索と長文ビデオQAタスクのための5つのデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:25:32Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。