論文の概要: MA-LMM: Memory-Augmented Large Multimodal Model for Long-Term Video Understanding

• arxiv url: http://arxiv.org/abs/2404.05726v2
• Date: Wed, 24 Apr 2024 15:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 20:28:54.252060
• Title: MA-LMM: Memory-Augmented Large Multimodal Model for Long-Term Video Understanding
• Title（参考訳）: MA-LMM:長期ビデオ理解のためのメモリ拡張大型マルチモーダルモデル
• Authors: Bo He, Hengduo Li, Young Kyun Jang, Menglin Jia, Xuefei Cao, Ashish Shah, Abhinav Shrivastava, Ser-Nam Lim,
• Abstract要約: 本研究は,長期的映像理解のための効率的かつ効果的なモデルの設計に焦点を当てる。 我々は,過去の映像情報をメモリバンクに格納し,オンラインで動画を処理することを提案する。 我々のモデルは、複数のデータセットにわたって最先端のパフォーマンスを達成することができる。
• 参考スコア（独自算出の注目度）: 66.56100008577134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the success of large language models (LLMs), integrating the vision model into LLMs to build vision-language foundation models has gained much more interest recently. However, existing LLM-based large multimodal models (e.g., Video-LLaMA, VideoChat) can only take in a limited number of frames for short video understanding. In this study, we mainly focus on designing an efficient and effective model for long-term video understanding. Instead of trying to process more frames simultaneously like most existing work, we propose to process videos in an online manner and store past video information in a memory bank. This allows our model to reference historical video content for long-term analysis without exceeding LLMs' context length constraints or GPU memory limits. Our memory bank can be seamlessly integrated into current multimodal LLMs in an off-the-shelf manner. We conduct extensive experiments on various video understanding tasks, such as long-video understanding, video question answering, and video captioning, and our model can achieve state-of-the-art performances across multiple datasets. Code available at https://boheumd.github.io/MA-LMM/.
• Abstract（参考訳）: 大型言語モデル(LLM)の成功により、ビジョンモデルとLLMの統合により、ビジョン言語基盤モデルの構築が注目されている。 しかし、既存のLLMベースの大規模マルチモーダルモデル(例えば、Video-LLaMA、VideoChat)は、短いビデオ理解のために限られたフレームしか持たない。 本研究では,長期的映像理解のための効率的かつ効果的なモデルの設計に主眼を置いている。 既存の作業と同じようなフレームを同時に処理するのではなく、オンラインで動画を処理し、過去の映像情報をメモリバンクに保存することを提案する。 これにより、LLMのコンテキスト長制約やGPUメモリ制限を超過することなく、長期解析のために過去の映像コンテンツを参照することが可能となる。 私たちのメモリバンクは、市販のマルチモーダルLCMにシームレスに統合できます。 我々は,映像理解,ビデオ質問応答,ビデオキャプションなど,様々な映像理解タスクに関する広範な実験を行い,そのモデルにより,複数のデータセットにわたる最先端のパフォーマンスを実現することができる。 コードはhttps://boheumd.github.io/MA-LMM/で公開されている。

関連論文リスト

• Video-XL: Extra-Long Vision Language Model for Hour-Scale Video Understanding [26.72068455284472]
  Video-XLは、時間スケールの効率的なビデオ理解のために設計された、超長い視覚言語モデルである。 我々のモデルは、人気のある長大映像理解ベンチマークにおいて有望な結果を得る。
  論文  参考訳（メタデータ） (2024-09-22T15:13:31Z)
• Long Context Transfer from Language to Vision [74.78422371545716]
  ビデオシーケンスは貴重な時間情報を提供するが、既存の大規模マルチモーダルモデル(LMM)は非常に長いビデオを理解するには不十分である。 本稿では,言語モデルの観点からこの問題にアプローチする。 言語バックボーンの文脈長を単純に外挿することで、LMMはビデオトレーニングなしで桁違いに多くの視覚的トークンを理解できるようになる。
  論文  参考訳（メタデータ） (2024-06-24T17:58:06Z)
• LVBench: An Extreme Long Video Understanding Benchmark [38.839913137854104]
  LVBenchは長いビデオの理解に特化して設計されたベンチマークである。 我々のデータセットは、公開されているビデオからなり、長いビデオの理解と情報抽出を目的とした様々なタスクを包含する。
  論文  参考訳（メタデータ） (2024-06-12T09:36:52Z)
• LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
  LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。 ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。 我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
  論文  参考訳（メタデータ） (2024-04-04T11:33:29Z)
• Understanding Long Videos with Multimodal Language Models [44.78900245769057]
  LLM(Large Language Models)は、長いビデオ理解ベンチマークにおいて優れたパフォーマンスを達成するために、最近のアプローチを可能にしている。 本研究では,LLMの広範な世界知識と強力な推論能力が,この強みにどのように影響するかを考察する。 得られたマルチモーダルビデオ理解フレームワークは、複数のビデオ理解ベンチマークで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-03-25T17:59:09Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• OneLLM: One Framework to Align All Modalities with Language [90.14915575477197]
  統一フレームワークを用いて8つのモーダルを言語に整合させるMLLMであるOneLLMを提案する。 OneLLMは25の多様なベンチマークで評価され、マルチモーダルキャプション、質問応答、推論などのタスクを含む。
  論文  参考訳（メタデータ） (2023-12-06T18:59:19Z)
• VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation [124.02278735049235]
  VALUEベンチマークは、幅広いビデオジャンル、ビデオの長さ、データボリューム、タスクの難易度をカバーすることを目的としている。 大規模なVidL事前学習による各種ベースライン法の評価を行った。 我々の最高のモデルと人間のパフォーマンスの間の大きなギャップは、先進的なVidLモデルの将来の研究を要求する。
  論文  参考訳（メタデータ） (2021-06-08T18:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。