論文の概要: VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format

• arxiv url: http://arxiv.org/abs/2411.17991v1
• Date: Wed, 27 Nov 2024 02:15:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:28:27.024860
• Title: VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format
• Title（参考訳）: VideoLLMはいつ話すべきか知っている: タイムセンシティブなビデオ理解をビデオとテキストの相互作用フォーマットで強化する
• Authors: Yueqian Wang, Xiaojun Meng, Yuxuan Wang, Jianxin Liang, Jiansheng Wei, Huishuai Zhang, Dongyan Zhao,
• Abstract要約: 既存の作業では、ユーザはビデオ全体とクエリを入力として使用することでビデオLLMと対話し、その後モデルが応答を生成する。 このインタラクションフォーマットは、ライブストリーミングの理解のようなシナリオにおけるVideoLLMsの適用を制限する。 本稿では,ビデオ・テキスト・デュエットインタラクション形式に焦点をあてる。 MMDuetITはビデオ・テキスト・デュエット・インタラクション・フォーマットにビデオLLMを適応させるために設計されたビデオ・テキスト・トレーニング・データセットである。
• 参考スコア（独自算出の注目度）: 40.66959827210223
• License:
• Abstract: Recent researches on video large language models (VideoLLM) predominantly focus on model architectures and training datasets, leaving the interaction format between the user and the model under-explored. In existing works, users often interact with VideoLLMs by using the entire video and a query as input, after which the model generates a response. This interaction format constrains the application of VideoLLMs in scenarios such as live-streaming comprehension where videos do not end and responses are required in a real-time manner, and also results in unsatisfactory performance on time-sensitive tasks that requires localizing video segments. In this paper, we focus on a video-text duet interaction format. This interaction format is characterized by the continuous playback of the video, and both the user and the model can insert their text messages at any position during the video playback. When a text message ends, the video continues to play, akin to the alternative of two performers in a duet. We construct MMDuetIT, a video-text training dataset designed to adapt VideoLLMs to video-text duet interaction format. We also introduce the Multi-Answer Grounded Video Question Answering (MAGQA) task to benchmark the real-time response ability of VideoLLMs. Trained on MMDuetIT, MMDuet demonstrates that adopting the video-text duet interaction format enables the model to achieve significant improvements in various time-sensitive tasks (76% CIDEr on YouCook2 dense video captioning, 90\% mAP on QVHighlights highlight detection and 25% R@0.5 on Charades-STA temporal video grounding) with minimal training efforts, and also enable VideoLLMs to reply in a real-time manner as the video plays. Code, data and demo are available at: https://github.com/yellow-binary-tree/MMDuet.
• Abstract（参考訳）: ビデオ大言語モデル(VideoLLM)に関する最近の研究は、主にモデルアーキテクチャとデータセットのトレーニングに焦点を合わせ、ユーザとモデル間のインタラクションフォーマットを未探索のまま残している。 既存の作業では、ユーザはビデオ全体とクエリを入力として使用することでビデオLLMと対話し、その後モデルが応答を生成する。 このインタラクションフォーマットは、ビデオが終わらず、応答がリアルタイムに要求されるようなライブストリーミング理解のようなシナリオにおけるビデオLLMの適用を制限し、また、ビデオセグメントのローカライズを必要とする時間依存タスクにおいて、不満足なパフォーマンスをもたらす。 本稿では,ビデオ・テキスト・デュエットインタラクション形式に焦点をあてる。 このインタラクションフォーマットは、ビデオの連続的な再生によって特徴付けられ、ユーザとモデルの両方が、ビデオ再生中の任意の位置にテキストメッセージを挿入することができる。 テキストメッセージが終わると、ビデオが再生され続け、デュエット中の2人のパフォーマーの代替に似ています。 MMDuetITはビデオ・テキスト・デュエット・インタラクション・フォーマットにビデオLLMを適応させるために設計されたビデオ・テキスト・トレーニング・データセットである。 また、Multi-Answer Grounded Video Question Answering (MAGQA)タスクを導入し、ビデオLLMのリアルタイム応答能力をベンチマークする。 MMDuetITでトレーニングされたMDDuetは、ビデオテキストデュエットインタラクションフォーマットを採用することで、様々な時間に敏感なタスク(YouCook2の76% CIDEr、QVHighlightsの90\% mAP、Charades-STAの25% R@0.5)において、最小限のトレーニング努力で、ビデオLLMがリアルタイムに応答できるようにする。 コード、データ、デモは、https://github.com/yellow-binary-tree/MMDuet.comで公開されている。

関連論文リスト

• InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
  InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。 私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
  論文  参考訳（メタデータ） (2024-03-22T17:57:42Z)
• TimeChat: A Time-sensitive Multimodal Large Language Model for Long Video Understanding [20.037781644877388]
  TimeChatは、長いビデオ理解のために特別に設計された、時間に敏感なマルチモーダルな大規模言語モデルである。 本モデルは,(1) フレームのタイムスタンプに視覚的コンテンツをバインドするタイムスタンプ対応フレームエンコーダ,(2) 長さの異なるビデオトークンシーケンスを生成するスライドビデオQ-Formerの2つの重要なアーキテクチャ的コントリビューションを含む。
  論文  参考訳（メタデータ） (2023-12-04T17:09:52Z)
• Multi-event Video-Text Retrieval [33.470499262092105]
  Video-Text Retrieval(VTR)は、インターネット上の大量のビデオテキストデータの時代において重要なマルチモーダルタスクである。 マルチイベントビデオテキスト検索(MeVTR)タスクを導入し、各ビデオが複数の異なるイベントを含むシナリオに対処する。 本稿では,MeVTRタスクにキーイベント映像表現とMeVTRロスを付加したシンプルなモデルMe-Retrieverを提案する。
  論文  参考訳（メタデータ） (2023-08-22T16:32:46Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• BridgeFormer: Bridging Video-text Retrieval with Multiple Choice Questions [38.843518809230524]
  我々は、Multiple Choice Questions (MCQ) と呼ばれる新しいプレテキストタスクを導入する。 BridgeFormerモジュールは、ビデオ機能に頼ってテキスト機能によって構築された"クエスト"に答えるように訓練されている。 質問や回答の形式では、ローカルなビデオテキストの特徴間の意味的関連を適切に確立することができる。 提案手法は,5つのデータセットにおいて,人気テキスト・ビデオ検索タスクにおける最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2022-01-13T09:33:54Z)
• CLIP2Video: Mastering Video-Text Retrieval via Image CLIP [13.270902407320005]
  本稿では、CLIP2Videoネットワークを用いて、画像言語学習モデルをエンドツーエンドでビデオテキスト検索に転送する。 我々は,テキスト・ツー・ビデオ・トゥ・テキスト・検索ベンチマークにおいて,徹底的なアブレーション研究を行い,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-21T13:30:33Z)
• Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
  ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。 VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。 実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
  論文  参考訳（メタデータ） (2021-05-13T12:54:39Z)
• Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval [80.7397409377659]
  大規模画像と映像キャプションの両方のデータセットを利用した,エンドツーエンドのトレーニング可能なモデルを提案する。 私たちのモデルは柔軟で、画像とビデオの両方のテキストデータセットで、独立に、または同時にトレーニングできます。 この手法は,標準ダウンストリームビデオリトライバルベンチマークにおいて最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-01T17:48:27Z)
• HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training [75.55823420847759]
  本稿では,大規模ビデオ+言語オムニ表現学習のための新しいフレームワークHEROを提案する。 HEROは階層構造でマルチモーダル入力を符号化し、ビデオフレームのローカルコンテキストをクロスモーダル変換器でキャプチャする。 HEROはHowTo100Mと大規模TVデータセットを共同でトレーニングし、マルチキャラクタインタラクションによる複雑な社会的ダイナミクスの理解を深める。
  論文  参考訳（メタデータ） (2020-05-01T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。