論文の概要: Towards Event-oriented Long Video Understanding

• arxiv url: http://arxiv.org/abs/2406.14129v1
• Date: Thu, 20 Jun 2024 09:14:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 14:31:01.287296
• Title: Towards Event-oriented Long Video Understanding
• Title（参考訳）: イベント指向のロングビデオ理解に向けて
• Authors: Yifan Du, Kun Zhou, Yuqi Huo, Yifan Li, Wayne Xin Zhao, Haoyu Lu, Zijia Zhao, Bingning Wang, Weipeng Chen, Ji-Rong Wen,
• Abstract要約: Event-Benchは、既存のデータセットとヒューマンアノテーションに基づいて構築された、イベント指向の長いビデオ理解ベンチマークである。 VIMは、統合されたイベント集約型ビデオ命令を用いて、ビデオMLLMを強化するコスト効率のよい方法である。
• 参考スコア（独自算出の注目度）: 101.48089908037888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of video Multimodal Large Language Models (MLLMs), numerous benchmarks have been proposed to assess their video understanding capability. However, due to the lack of rich events in the videos, these datasets may suffer from the short-cut bias that the answers can be deduced from a few frames, without the need to watch the entire video. To address this issue, we introduce Event-Bench, an event-oriented long video understanding benchmark built on existing datasets and human annotations. Event-Bench includes six event-related tasks and 2,190 test instances to comprehensively evaluate video event understanding ability. Additionally, we propose Video Instruction Merging~(VIM), a cost-effective method that enhances video MLLMs using merged, event-intensive video instructions, addressing the scarcity of human-annotated, event-intensive data. Extensive experiments show that the best-performing model, GPT-4o, achieves an overall accuracy of 53.33, significantly outperforming the best open-source model by 41.42%. Leveraging an effective instruction synthesis method and an adaptive model architecture, VIM surpasses both state-of-the-art open-source models and GPT-4V on the Event-Bench. All code, data, and models are publicly available at https://github.com/RUCAIBox/Event-Bench.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の急速な開発に伴い、ビデオ理解能力を評価するために多数のベンチマークが提案されている。 しかしながら、ビデオにリッチなイベントが欠如しているため、これらのデータセットは、ビデオ全体を見る必要なしに、回答を数フレームから推論できるというショートカットバイアスに悩まされる可能性がある。 この問題に対処するために、既存のデータセットとヒューマンアノテーションに基づいて構築されたイベント指向の長ビデオ理解ベンチマークであるEvent-Benchを紹介します。 Event-Benchには、ビデオイベント理解能力を総合的に評価する6つのイベント関連タスクと2,190のテストインスタンスが含まれている。 さらに,統合されたイベント集約型ビデオ命令を用いて,ビデオMLLMのコスト効率を高める手法であるVIM(Video Instruction Merging)を提案する。 大規模な実験により、最高のパフォーマンスモデルであるGPT-4oは53.33の全体的な精度を達成し、最高のオープンソースモデルを41.42%上回る結果となった。 効果的な命令合成法と適応モデルアーキテクチャを利用して、VIMはEvent-Bench上の最先端のオープンソースモデルとGPT-4Vの両方を超越する。 すべてのコード、データ、モデルはhttps://github.com/RUCAIBox/Event-Bench.comで公開されている。

関連論文リスト

• Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
  部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。 このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。 結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:59:48Z)
• E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding [57.630136434038384]
  E.T. Bench (Event-Level & Time-Sensitive Video Understanding Benchmark)は、イベントレベルのオープンな理解のための大規模ベンチマークである。 ベンチマークでは,8つの画像-LLMと12個のビデオ-LLMを広範囲に評価し,その結果から,粗い(ビデオレベル)理解のための最先端モデルが,きめ細かなタスクの解決に苦慮していることが判明した。 私たちのシンプルだが効果的なソリューションは、複数のシナリオで優れたパフォーマンスを示します。
  論文  参考訳（メタデータ） (2024-09-26T17:53:04Z)
• Enhancing Long Video Understanding via Hierarchical Event-Based Memory [9.800516656566774]
  本稿では,長いビデオの理解を深めるため,階層型イベントベースメモリ拡張LDM(HEM-LLM)を提案する。 まず,複数のイベントを長いビデオ内に分割する適応シーケンスセグメンテーション方式を設計する。 第2に、現在のイベントをモデル化しながら、ビデオ内の長期的相互依存関係を強化するために、前回のイベントに関する情報を圧縮し、注入する。
  論文  参考訳（メタデータ） (2024-09-10T07:53:10Z)
• Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis [118.08008540513596]
  Video-MMEは、ビデオ解析におけるMLLMの完全なマルチモード評価ベンチマークである。 我々は,GPT-4シリーズやGemini 1.5 Pro,オープンソース画像モデルなど,最先端のMLLMを幅広く評価した。 我々の実験によると、Gemini 1.5 Proは最も優れた商用モデルであり、オープンソースモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-31T17:59:47Z)
• CinePile: A Long Video Question Answering Dataset and Benchmark [55.30860239555001]
  我々は、CinePileという新しいデータセットとベンチマークを提示する。 包括的データセットは305,000の多重選択質問(MCQ)から構成されており、様々な視覚的・マルチモーダル的な側面をカバーしている。 トレーニングスプリットに関して、オープンソースのVideo-LLMを微調整し、データセットのテストスプリット上で、オープンソースとプロプライエタリなビデオ中心LLMの両方を評価しました。
  論文  参考訳（メタデータ） (2024-05-14T17:59:02Z)
• GPT4Video: A Unified Multimodal Large Language Model for lnstruction-Followed Understanding and Safety-Aware Generation [100.23111948079037]
  GPT4Videoは、ビデオ理解と生成の両方の能力で大規模言語モデルを強化する統一されたマルチモデルフレームワークである。 具体的には、安定拡散生成モデルと統合された命令追従型アプローチを開発し、映像生成シナリオを効果的かつ安全に扱うことを実証した。
  論文  参考訳（メタデータ） (2023-11-25T04:05:59Z)
• SPOT! Revisiting Video-Language Models for Event Understanding [31.49859545456809]
  本稿では,既存のビデオ言語モデルのイベントレベルの相違点を識別する能力のベンチマークを行うSPOT Proberを紹介する。 これらの正負のキャプションで既存のビデオ言語モデルを評価した結果、操作されたイベントのほとんどを区別できないことがわかった。 そこで本研究では,これらの操作したイベントキャプションをハードネガティブなサンプルとしてプラグインし,イベント理解モデルの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-21T18:43:07Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。