論文の概要: Multi-Granularity and Multi-modal Feature Interaction Approach for Text Video Retrieval

• arxiv url: http://arxiv.org/abs/2407.12798v1
• Date: Fri, 21 Jun 2024 02:28:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 08:57:39.451062
• Title: Multi-Granularity and Multi-modal Feature Interaction Approach for Text Video Retrieval
• Title（参考訳）: テキストビデオ検索のためのマルチグラニュリティとマルチモーダル特徴相互作用アプローチ
• Authors: Wenjun Li, Shudong Wang, Dong Zhao, Shenghui Xu, Zhaoming Pan, Zhimin Zhang,
• Abstract要約: テキスト・トゥ・ビデオ検索(TVR)タスクの鍵は、各テキスト(単語からなる)とビデオ(音声と画像のフレームを構成する)のそれぞれに固有の類似性を学ぶことである。 テキストフレームとワードフレームからなるMGFIと呼ばれる新しい多言語機能相互作用モジュールを提案する。 また,ビデオ中のフレームの表現不足を解消するため,CMFIと呼ばれる音声とテキストのクロスモーダルなインタラクションモジュールも導入した。
• 参考スコア（独自算出の注目度）: 6.656989511639513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key of the text-to-video retrieval (TVR) task lies in learning the unique similarity between each pair of text (consisting of words) and video (consisting of audio and image frames) representations. However, some problems exist in the representation alignment of video and text, such as a text, and further each word, are of different importance for video frames. Besides, audio usually carries additional or critical information for TVR in the case that frames carry little valid information. Therefore, in TVR task, multi-granularity representation of text, including whole sentence and every word, and the modal of audio are salutary which are underutilized in most existing works. To address this, we propose a novel multi-granularity feature interaction module called MGFI, consisting of text-frame and word-frame, for video-text representations alignment. Moreover, we introduce a cross-modal feature interaction module of audio and text called CMFI to solve the problem of insufficient expression of frames in the video. Experiments on benchmark datasets such as MSR-VTT, MSVD, DiDeMo show that the proposed method outperforms the existing state-of-the-art methods.
• Abstract（参考訳）: テキスト・トゥ・ビデオ検索(TVR)タスクの鍵は、各テキスト(単語からなる)とビデオ(音声と画像のフレームを構成する)のそれぞれに固有の類似性を学ぶことである。 しかし、ビデオフレームでは、テキストなど、ビデオとテキストのアライメントにいくつかの問題がある。 さらに、オーディオは通常、フレームが有効な情報をほとんど持っていない場合、TVRに追加または重要な情報を運ぶ。 したがって、TVRタスクでは、全文と全単語を含むテキストの多言語表現と音声のモーダルは、既存のほとんどの作品では未使用である。 そこで本研究では,ビデオテキストのアライメントのためのテキストフレームとワードフレームで構成されるMGFIと呼ばれる新しい多言語機能対話モジュールを提案する。 さらに,ビデオ中のフレームの表現が不十分な問題を解決するため,CMFIと呼ばれる音声とテキストのクロスモーダル・フィーチャ・インタラクション・モジュールを導入する。 MSR-VTT, MSVD, DiDeMo などのベンチマークデータセットの実験では,提案手法が既存の最先端手法よりも優れていることが示された。

関連論文リスト

• Prompt Switch: Efficient CLIP Adaptation for Text-Video Retrieval [24.691270610091554]
  本稿では,ビデオから意味的に強調された表現を純粋に学習し,ビデオ表現をオフラインで計算し,異なるテキストに対して再利用することを目的とする。 MSR-VTT, MSVD, LSMDCの3つのベンチマークデータセット上で, 最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-08-15T08:54:25Z)
• Audio-Enhanced Text-to-Video Retrieval using Text-Conditioned Feature Alignment [16.304894187743013]
  TEFALは、テキストクエリで条件付けられた音声とビデオの両方の表現を生成する、TExt条件のフィーチャーアライメント手法である。 提案手法では、2つの独立したモーダル・アテンション・ブロックを用いて、テキストが音声とビデオの表現を別々に扱えるようにしている。
  論文  参考訳（メタデータ） (2023-07-24T17:43:13Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• Temporal Perceiving Video-Language Pre-training [112.1790287726804]
  本研究は、時間的・意味的な微粒なアライメントを可能にする、新しいテキスト-ビデオのローカライゼーション・プレテキストタスクを導入する。 具体的には、テキスト-ビデオのローカライゼーションは、テキスト記述が与えられたビデオの開始と終了の境界を予測するモーメント検索から成っている。 提案手法は,細粒度フレーム表現と単語表現を結合し,単一モードにおける異なるインスタンスの表現を暗黙的に区別する。
  論文  参考訳（メタデータ） (2023-01-18T12:15:47Z)
• Contrastive Video-Language Learning with Fine-grained Frame Sampling [54.542962813921214]
  FineCoは、ビデオフレーム上で操作する微妙なコントラスト対象で、ビデオと言語表現をよりよく学習するアプローチである。 テキストと意味的に等価なフレームを選択することで、ビデオの削除を支援し、クロスモーダル対応を改善する。
  論文  参考訳（メタデータ） (2022-10-10T22:48:08Z)
• TVLT: Textless Vision-Language Transformer [89.31422264408002]
  テキストレス・ビジョン・ランゲージ変換器 (TVLT) では, 同種変換器ブロックが生の視覚・音声入力を行う。 TVLTはテキストベースの様々なマルチモーダルタスクに匹敵するパフォーマンスを実現している。 その結果,低レベルの視覚・音声信号から,コンパクトで効率的な視覚言語表現を学習できる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T15:08:03Z)
• Text-Adaptive Multiple Visual Prototype Matching for Video-Text Retrieval [125.55386778388818]
  ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、研究の関心が高まっている。 本稿では,テキスト適応型複数プロトタイプマッチングモデルを提案する。 提案手法は,4つの公開ビデオ検索データセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-09-27T11:13:48Z)
• Multimodal Frame-Scoring Transformer for Video Summarization [4.266320191208304]
  MFST(Multimodal Frame-Scoring Transformer)フレームワークは、視覚的、テキスト、オーディオ機能を利用して、フレームに関するビデオをスコアする。 MFSTフレームワークは、事前に訓練されたエンコーダを用いて、まず各モダリティ特徴(視覚-テキスト-オーディオ)を抽出する。 MFSTは、ビデオテキスト・オーディオ表現を入力として使用し、フレームレベルのスコアを予測するマルチモーダル・フレーム・スコリング・トランスフォーマーを訓練する。
  論文  参考訳（メタデータ） (2022-07-05T05:14:15Z)
• X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval [26.581384985173116]
  テキスト・ビデオ検索では,テキストとビデオの相互類似性を学習することが目的である。 本稿では,テキストとビデオのフレーム間の関係を理由として,X-Poolと呼ばれるモーダルなアテンションモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-28T20:47:37Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。