論文の概要: Enhancing Long Video Understanding via Hierarchical Event-Based Memory

• arxiv url: http://arxiv.org/abs/2409.06299v1
• Date: Tue, 10 Sep 2024 07:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 18:40:09.133094
• Title: Enhancing Long Video Understanding via Hierarchical Event-Based Memory
• Title（参考訳）: 階層型イベントベースメモリによるロングビデオ理解の強化
• Authors: Dingxin Cheng, Mingda Li, Jingyu Liu, Yongxin Guo, Bin Jiang, Qingbin Liu, Xi Chen, Bo Zhao,
• Abstract要約: 本稿では,長いビデオの理解を深めるため,階層型イベントベースメモリ拡張LDM(HEM-LLM)を提案する。 まず,複数のイベントを長いビデオ内に分割する適応シーケンスセグメンテーション方式を設計する。 第2に、現在のイベントをモデル化しながら、ビデオ内の長期的相互依存関係を強化するために、前回のイベントに関する情報を圧縮し、注入する。
• 参考スコア（独自算出の注目度）: 9.800516656566774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, integrating visual foundation models into large language models (LLMs) to form video understanding systems has attracted widespread attention. Most of the existing models compress diverse semantic information within the whole video and feed it into LLMs for content comprehension. While this method excels in short video understanding, it may result in a blend of multiple event information in long videos due to coarse compression, which causes information redundancy. Consequently, the semantics of key events might be obscured within the vast information that hinders the model's understanding capabilities. To address this issue, we propose a Hierarchical Event-based Memory-enhanced LLM (HEM-LLM) for better understanding of long videos. Firstly, we design a novel adaptive sequence segmentation scheme to divide multiple events within long videos. In this way, we can perform individual memory modeling for each event to establish intra-event contextual connections, thereby reducing information redundancy. Secondly, while modeling current event, we compress and inject the information of the previous event to enhance the long-term inter-event dependencies in videos. Finally, we perform extensive experiments on various video understanding tasks and the results show that our model achieves state-of-the-art performances.
• Abstract（参考訳）: 近年,映像理解システムの構築に視覚基礎モデルを大型言語モデル(LLM)に統合する動きが注目されている。 既存のモデルのほとんどは、ビデオ全体の中で多様な意味情報を圧縮し、コンテンツ理解のためにLLMにフィードする。 この手法は、短いビデオ理解において優れているが、粗い圧縮により複数のイベント情報が長いビデオに混ざり合った結果、情報の冗長性が生じる可能性がある。 その結果、重要なイベントの意味は、モデルの理解能力を妨げる膨大な情報の中に隠蔽される可能性がある。 この問題に対処するため,階層型イベントベースメモリ拡張LDM (HEM-LLM) を提案する。 まず,複数のイベントを長いビデオ内に分割する適応シーケンスセグメンテーション方式を設計する。 このようにして、各イベントの個別メモリモデリングを行い、イベント内コンテキスト接続を確立することにより、情報の冗長性を低減できる。 第2に、現在のイベントをモデル化しながら、ビデオ内の長期的相互依存関係を強化するために、前回のイベントに関する情報を圧縮し、注入する。 最後に,様々な映像理解タスクについて広範な実験を行い,その結果から,我々のモデルが最先端のパフォーマンスを達成することを示す。

関連論文リスト

• SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis [52.050036778325094]
  本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。 87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。 本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
  論文  参考訳（メタデータ） (2024-11-25T08:04:47Z)
• From Seconds to Hours: Reviewing MultiModal Large Language Models on Comprehensive Long Video Understanding [48.17858136527905]
  視覚的エンコーダを備えた多モード大言語モデル(LLM)は、視覚的理解タスクにおいて有望な性能を示した。 本稿では、静止画像と短い映像の理解と比較して、長いビデオ理解によって生じる実質的な違いと固有の課題に焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-27T17:38:36Z)
• Towards Event-oriented Long Video Understanding [101.48089908037888]
  Event-Benchは、既存のデータセットとヒューマンアノテーションに基づいて構築された、イベント指向の長いビデオ理解ベンチマークである。 VIMは、統合されたイベント集約型ビデオ命令を用いて、ビデオMLLMを強化するコスト効率のよい方法である。
  論文  参考訳（メタデータ） (2024-06-20T09:14:19Z)
• MA-LMM: Memory-Augmented Large Multimodal Model for Long-Term Video Understanding [66.56100008577134]
  本研究は,長期的映像理解のための効率的かつ効果的なモデルの設計に焦点を当てる。 我々は,過去の映像情報をメモリバンクに格納し,オンラインで動画を処理することを提案する。 我々のモデルは、複数のデータセットにわたって最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-04-08T17:59:24Z)
• LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
  LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。 ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。 我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
  論文  参考訳（メタデータ） (2024-04-04T11:33:29Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)
• Spoken Moments: Learning Joint Audio-Visual Representations from Video Descriptions [75.77044856100349]
  我々は、異なるイベントの広い範囲を描写するユニークな短いビデオに起因する500k話されたキャプションのSpoken Momentsデータセットを提示します。 AMMアプローチは一貫して結果を改善し、Spoken Momentsデータセットで訓練されたモデルは、他のビデオキャプションデータセットで訓練されたモデルよりも汎用性が高いことを示しています。
  論文  参考訳（メタデータ） (2021-05-10T16:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。