論文の概要: Multi-event Video-Text Retrieval

• arxiv url: http://arxiv.org/abs/2308.11551v1
• Date: Tue, 22 Aug 2023 16:32:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 17:17:39.368013
• Title: Multi-event Video-Text Retrieval
• Title（参考訳）: マルチイベントビデオテキスト検索
• Authors: Gengyuan Zhang, Jisen Ren, Jindong Gu, Volker Tresp
• Abstract要約: Video-Text Retrieval(VTR)は、インターネット上の大量のビデオテキストデータの時代において重要なマルチモーダルタスクである。 マルチイベントビデオテキスト検索(MeVTR)タスクを導入し、各ビデオが複数の異なるイベントを含むシナリオに対処する。 本稿では,MeVTRタスクにキーイベント映像表現とMeVTRロスを付加したシンプルなモデルMe-Retrieverを提案する。
• 参考スコア（独自算出の注目度）: 33.470499262092105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-Text Retrieval (VTR) is a crucial multi-modal task in an era of massive video-text data on the Internet. A plethora of work characterized by using a two-stream Vision-Language model architecture that learns a joint representation of video-text pairs has become a prominent approach for the VTR task. However, these models operate under the assumption of bijective video-text correspondences and neglect a more practical scenario where video content usually encompasses multiple events, while texts like user queries or webpage metadata tend to be specific and correspond to single events. This establishes a gap between the previous training objective and real-world applications, leading to the potential performance degradation of earlier models during inference. In this study, we introduce the Multi-event Video-Text Retrieval (MeVTR) task, addressing scenarios in which each video contains multiple different events, as a niche scenario of the conventional Video-Text Retrieval Task. We present a simple model, Me-Retriever, which incorporates key event video representation and a new MeVTR loss for the MeVTR task. Comprehensive experiments show that this straightforward framework outperforms other models in the Video-to-Text and Text-to-Video tasks, effectively establishing a robust baseline for the MeVTR task. We believe this work serves as a strong foundation for future studies. Code is available at https://github.com/gengyuanmax/MeVTR.
• Abstract（参考訳）: Video-Text Retrieval(VTR)は、インターネット上の大量のビデオテキストデータの時代において重要なマルチモーダルタスクである。 映像テキスト対の結合表現を学習する2ストリームの視覚言語モデルアーキテクチャを特徴とする多彩な作品がvtrタスクの際立ったアプローチとなっている。 しかしながら、これらのモデルは、客観的なビデオテキスト対応の仮定の下で動作し、ビデオコンテンツが通常複数のイベントを含むというより実践的なシナリオを無視している。 これは、以前のトレーニング目標と実世界のアプリケーションとのギャップを確立し、推論中に以前のモデルのパフォーマンスが低下する可能性がある。 本研究では,従来のビデオテキスト検索タスクのニッチなシナリオとして,各映像が複数の異なるイベントを含むシナリオに対処するマルチイベントビデオテキスト検索タスク(mevtr)を導入する。 本稿では,MeVTRタスクにキーイベント映像表現とMeVTRロスを付加したシンプルなモデルMe-Retrieverを提案する。 包括的な実験により、この簡単なフレームワークは、mevtrタスクの堅牢なベースラインを確立するために、ビデオ対テキストおよびテキスト対ビデオタスクにおいて、他のモデルよりも優れています。 この研究が将来の研究の基盤となると信じている。 コードはhttps://github.com/gengyuanmax/MeVTRで入手できる。

関連論文リスト

• TRACE: Temporal Grounding Video LLM via Causal Event Modeling [6.596327795743185]
  ビデオ時間グラウンド(VTG)は、ビデオ理解モデルにとって重要な機能であり、ビデオブラウジングや編集などの下流タスクにおいて重要な役割を果たす。 現在のビデオLLMは自然言語生成のみに依存しており、ビデオに固有の明確な構造をモデル化する能力がない。 本稿では,映像をイベントのシーケンスとして表現する因果イベントモデリングフレームワークを導入し,過去のイベントやビデオ入力,テクスチャインストラクションを用いて現在のイベントを予測する。 本稿では,TRACE と呼ばれるタスクインターリーブビデオ LLM を提案し,実際に因果イベントモデリングフレームワークを効果的に実装する。
  論文  参考訳（メタデータ） (2024-10-08T02:46:30Z)
• EA-VTR: Event-Aware Video-Text Retrieval [97.30850809266725]
  Event-Aware Video-Text Retrievalモデルは、優れたビデオイベント認識を通じて、強力なビデオテキスト検索能力を実現する。 EA-VTRはフレームレベルとビデオレベルの視覚表現を同時にエンコードすることができ、詳細なイベント内容と複雑なイベントの時間的相互アライメントを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T09:09:58Z)
• Composed Video Retrieval via Enriched Context and Discriminative Embeddings [118.66322242183249]
  コンポジションビデオ検索(CoVR)はコンピュータビジョンにおいて難しい問題である。 本稿では,クエリ固有のコンテキスト情報を明示的にエンコードするために,詳細な言語記述を活用する新しいCoVRフレームワークを提案する。 我々の手法はリコール@K=1のスコアで7%の上昇を達成した。
  論文  参考訳（メタデータ） (2024-03-25T17:59:03Z)
• Analyzing Zero-Shot Abilities of Vision-Language Models on Video Understanding Tasks [6.925770576386087]
  本稿では,ゼロショット環境における映像理解タスクの評価において,画像テキストモデルの一般化能力について詳細に検討する。 実験の結果,映像テキストモデルでは,映像AR,ビデオRT,ビデオMCに優れた性能を示すことがわかった。 これらの結果は、コストのかかる事前学習のステップを回避しつつ、基礎的な画像テキストモデルを一連のビデオタスクに適応する利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2023-10-07T20:57:54Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• A Large Cross-Modal Video Retrieval Dataset with Reading Comprehension [49.74647080936875]
  テキスト読解機能を備えた大規模・クロスモーダルなビデオ検索データセットであるTextVRを紹介した。 提案したTextVRでは,テキストを認識し,理解し,視覚的コンテキストに関連づけ,ビデオ検索作業に不可欠なテキスト意味情報を決定するために,一種類のクロスモーダルモデルが必要である。
  論文  参考訳（メタデータ） (2023-05-05T08:00:14Z)
• Deep Learning for Video-Text Retrieval: a Review [13.341694455581363]
  Video-Text Retrieval (VTR) は、ある文のセマンティクスに関連する最も関連性の高いビデオを探すことを目的としている。 本稿では,VTRに関する100以上の研究論文をレビューし,要約する。
  論文  参考訳（メタデータ） (2023-02-24T10:14:35Z)
• Reading-strategy Inspired Visual Representation Learning for Text-to-Video Retrieval [41.420760047617506]
  クロスモーダル表現学習は、ビデオと文の両方を、意味的類似性のための共通空間に計画する。 人間の読み方から着想を得た映像表現学習(RIVRL)を提案する。 我々のモデル RIVRL は TGIF と VATEX の新たな最先端を実現する。
  論文  参考訳（メタデータ） (2022-01-23T03:38:37Z)
• VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation [124.02278735049235]
  VALUEベンチマークは、幅広いビデオジャンル、ビデオの長さ、データボリューム、タスクの難易度をカバーすることを目的としている。 大規模なVidL事前学習による各種ベースライン法の評価を行った。 我々の最高のモデルと人間のパフォーマンスの間の大きなギャップは、先進的なVidLモデルの将来の研究を要求する。
  論文  参考訳（メタデータ） (2021-06-08T18:34:21Z)
• Look Before you Speak: Visually Contextualized Utterances [88.58909442073858]
  ビデオ中の発話を視覚的フレームと書き起こされた音声の両方を文脈として予測するタスクを作成する。 オンラインで多数の指導ビデオを活用することで、手動のアノテーションを必要とせずに、このタスクを大規模に解決するためのモデルを訓練する。 本モデルは,多数のダウンストリームビデオQAベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-12-10T14:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。