論文の概要: Event-aware Video Corpus Moment Retrieval

• arxiv url: http://arxiv.org/abs/2402.13566v1
• Date: Wed, 21 Feb 2024 06:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:44:42.155660
• Title: Event-aware Video Corpus Moment Retrieval
• Title（参考訳）: イベント対応ビデオコーパスモーメント検索
• Authors: Danyang Hou and Liang Pang and Huawei Shen and Xueqi Cheng
• Abstract要約: Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。 VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。 本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
• 参考スコア（独自算出の注目度）: 79.48249428428802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video Corpus Moment Retrieval (VCMR) is a practical video retrieval task focused on identifying a specific moment within a vast corpus of untrimmed videos using the natural language query. Existing methods for VCMR typically rely on frame-aware video retrieval, calculating similarities between the query and video frames to rank videos based on maximum frame similarity.However, this approach overlooks the semantic structure embedded within the information between frames, namely, the event, a crucial element for human comprehension of videos. Motivated by this, we propose EventFormer, a model that explicitly utilizes events within videos as fundamental units for video retrieval. The model extracts event representations through event reasoning and hierarchical event encoding. The event reasoning module groups consecutive and visually similar frame representations into events, while the hierarchical event encoding encodes information at both the frame and event levels. We also introduce anchor multi-head self-attenion to encourage Transformer to capture the relevance of adjacent content in the video. The training of EventFormer is conducted by two-branch contrastive learning and dual optimization for two sub-tasks of VCMR. Extensive experiments on TVR, ANetCaps, and DiDeMo benchmarks show the effectiveness and efficiency of EventFormer in VCMR, achieving new state-of-the-art results. Additionally, the effectiveness of EventFormer is also validated on partially relevant video retrieval task.
• Abstract（参考訳）: Video Corpus Moment Retrieval(VCMR)は、自然言語クエリを使って、膨大な量の未編集ビデオのコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。 既存のVCMRの方法は、一般にフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似度を最大フレームの類似度に基づいてランク付けするが、このアプローチはフレーム間の情報、すなわちイベントに埋め込まれたセマンティック構造を見落としている。 そこで我々は,ビデオ検索の基本単位としてビデオ内のイベントを明示的に活用するEventFormerを提案する。 モデルはイベント推論と階層的イベントエンコーディングを通じてイベント表現を抽出する。 イベント推論モジュールは連続的および視覚的に類似したフレーム表現をイベントにグループ化し、階層的イベントエンコーディングはフレームレベルとイベントレベルで情報をエンコードする。 また,ビデオ中の隣接コンテンツの関連性を把握するために,トランスフォーマーにアンカー・マルチヘッド・セルフアテンションを導入する。 EventFormerのトレーニングは、VCMRの2つのサブタスクに対して、2分岐のコントラスト学習と2重最適化によって行われる。 TVR、ANetCaps、DiDeMoベンチマークに関する大規模な実験は、VCMRにおけるEventFormerの有効性と効率を示し、新しい最先端の結果を達成する。 さらに、部分関連ビデオ検索タスクにおいて、eventformerの有効性も検証される。

関連論文リスト

• EA-VTR: Event-Aware Video-Text Retrieval [97.30850809266725]
  Event-Aware Video-Text Retrievalモデルは、優れたビデオイベント認識を通じて、強力なビデオテキスト検索能力を実現する。 EA-VTRはフレームレベルとビデオレベルの視覚表現を同時にエンコードすることができ、詳細なイベント内容と複雑なイベントの時間的相互アライメントを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T09:09:58Z)
• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)
• Leveraging the Video-level Semantic Consistency of Event for Audio-visual Event Localization [8.530561069113716]
  AVEローカライゼーションタスクのためのビデオレベルのセマンティック・コンセンサス・ガイダンス・ネットワークを提案する。 クロスモーダルなイベント表現抽出器と、モーダル内のセマンティック一貫性向上器の2つのコンポーネントから構成される。 我々は、パブリックなAVVデータセット上で広範な実験を行い、完全に教師された設定と弱い設定の両方において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-11T08:15:57Z)
• Video Imprint [107.1365846180187]
  複雑なイベント検索,認識,記録のための統合ビデオ分析フレームワーク(ER3)が提案されている。 提案したビデオインプリント表現は、ビデオフレーム間の画像特徴間の時間的相関を利用する。 ビデオインプリントは、それぞれ、イベント認識/記録およびイベント検索タスクのために、推論ネットワークと特徴集約モジュールに入力される。
  論文  参考訳（メタデータ） (2021-06-07T00:32:47Z)
• Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
  ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。 VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。 実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
  論文  参考訳（メタデータ） (2021-05-13T12:54:39Z)
• Convolutional Hierarchical Attention Network for Query-Focused Video Summarization [74.48782934264094]
  本稿では、ユーザのクエリと長いビデオを入力として取り込む、クエリ中心のビデオ要約の課題に対処する。 本稿では,特徴符号化ネットワークとクエリ関連計算モジュールの2つの部分からなる畳み込み階層型注意ネットワーク(CHAN)を提案する。 符号化ネットワークでは,局所的な自己認識機構と問合せ対応のグローバルアテンション機構を備えた畳み込みネットワークを用いて,各ショットの視覚情報を学習する。
  論文  参考訳（メタデータ） (2020-01-31T04:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。