論文の概要: MovieChat: From Dense Token to Sparse Memory for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2307.16449v1
• Date: Mon, 31 Jul 2023 07:15:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 15:28:54.710248
• Title: MovieChat: From Dense Token to Sparse Memory for Long Video Understanding
• Title（参考訳）: moviechat: 密集したトークンから、長いビデオ理解のためのばらばらなメモリへ
• Authors: Enxin Song, Wenhao Chai, Guanhong Wang, Yucheng Zhang, Haoyang Zhou, Feiyang Wu, Xun Guo, Tian Ye, Yan Lu, Jenq-Neng Hwang, Gaoang Wang
• Abstract要約: MovieChatは、長いビデオ理解において最先端のパフォーマンスを達成する。 Atkinson-Shiffrinメモリモデルにインスパイアされ、高速に更新された短期記憶とコンパクトな長期記憶を含むメモリ機構を開発する。
• 参考スコア（独自算出の注目度）: 32.41149802490603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, integrating video foundation models and large language models to build a video understanding system overcoming the limitations of specific pre-defined vision tasks. Yet, existing systems can only handle videos with very few frames. For long videos, the computation complexity, memory cost, and long-term temporal connection are the remaining challenges. Inspired by Atkinson-Shiffrin memory model, we develop an memory mechanism including a rapidly updated short-term memory and a compact thus sustained long-term memory. We employ tokens in Transformers as the carriers of memory. MovieChat achieves state-of-the-art performace in long video understanding.
• Abstract（参考訳）: 近年,ビデオ基礎モデルと大規模言語モデルを統合することで,特定の視覚課題の限界を克服する映像理解システムの構築が進んでいる。 しかし既存のシステムは、フレーム数が少ないビデオしか扱えない。 長いビデオでは、計算の複雑さ、メモリコスト、長期の時間的接続が残る課題である。 アトキンソン・シフリンメモリモデルに触発されて,短期記憶の高速更新と長期記憶のコンパクト化を含むメモリ機構を開発した。 メモリのキャリアとして、トランスフォーマーにトークンを使用します。 MovieChatは、長いビデオ理解において最先端のパフォーマンスを達成する。

関連論文リスト

• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• Kangaroo: A Powerful Video-Language Model Supporting Long-context Video Input [34.50993235961505]
  Kangarooは、長いビデオを処理するという課題に対処するための強力なビデオLMMである。 データキュレーションシステムは、視覚言語による事前学習と命令チューニングのための高品質なアノテーションを備えた大規模データセットを構築する。 長いビデオに対応するための解像度と入力フレームの数を徐々に増やしたカリキュラムトレーニングパイプライン。
  論文  参考訳（メタデータ） (2024-08-28T05:34:14Z)
• Hierarchical Memory for Long Video QA [78.72965584414368]
  本稿では,LOVEU Challenge @ CVPR'24, Track 1 (Long Video VQA) のチャンピオンソリューションについて述べる。 我々は、限られたGPUメモリ(VRAM)で長いビデオを処理できるSTARメモリという階層的なメモリ機構を採用した。 さらに,MovieChat-1K トレーニングセットの映像と音声データを利用して,Flash-VStream がリリースした事前学習重量を微調整し,課題の1位を達成した。
  論文  参考訳（メタデータ） (2024-06-30T06:08:12Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)
• MovieChat+: Question-aware Sparse Memory for Long Video Question Answering [36.14140811797466]
  長編ビデオの理解という課題を克服するために,MovieChatを提案する。 我々はトランスフォーマーのトークンを特別な設計のメモリ機構と組み合わせてメモリのキャリアとして使用しています。 MovieChatは1Kの長ビデオと2Kの時間的グラウンドラベルと14Kのマニュアルアノテーションを備えたMovieChat-1Kベンチマークとともに、長いビデオ理解における最先端のパフォーマンスを実現し、本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-04-26T06:17:04Z)
• Koala: Key frame-conditioned long video-LLM [70.52369588364992]
  我々は、より長いビデオに一般化するために、事前訓練されたvLLMに適応するための軽量で自己監督型の長ビデオLLM(Koala)を提案する。 提案手法は,全タスクの絶対精度を3～6%向上させる。 意外なことに、我々のアプローチは、訓練済みのvLLMが長いビデオを理解するのに役立つだけでなく、短期的な行動認識における精度を向上させることを実証的に示す。
  論文  参考訳（メタデータ） (2024-04-05T18:33:04Z)
• LVCHAT: Facilitating Long Video Comprehension [25.395689904747965]
  本稿では,Long Video Chat (LVChat) を提案する。 LVは、長ビデオのQAデータセットと長ビデオのキャプションベンチマークにおいて、既存の手法を最大27%上回っている。
  論文  参考訳（メタデータ） (2024-02-19T11:59:14Z)
• MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Long-Term Video Recognition [74.35009770905968]
  既存のモデルに比べて30倍の時間的サポートを持つメモリ拡張型視覚変換器を構築した。 MeMViTは、AVA、EPIC-Kitchens-100アクション分類、アクション予測データセットの最先端結果を取得する。
  論文  参考訳（メタデータ） (2022-01-20T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。