論文の概要: Fine-grained Text-Video Retrieval with Frozen Image Encoders

• arxiv url: http://arxiv.org/abs/2307.09972v1
• Date: Fri, 14 Jul 2023 02:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-23 11:48:56.759230
• Title: Fine-grained Text-Video Retrieval with Frozen Image Encoders
• Title（参考訳）: 凍結画像エンコーダを用いたきめ細かいテキスト・ビデオ検索
• Authors: Zuozhuo Dai, Fangtao Shao, Qingkun Su, Zilong Dong, Siyu Zhu
• Abstract要約: 2段階のテキストビデオ検索アーキテクチャであるCrossTVRを提案する。 第1段階では,既存のTVR手法とコサイン類似性ネットワークを利用して,効率的なテキスト/ビデオ候補選択を行う。 第2段階では,空間次元と時間次元の細粒度マルチモーダル情報をキャプチャするビデオテキストクロスアテンションモジュールを提案する。
• 参考スコア（独自算出の注目度）: 10.757101644990273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art text-video retrieval (TVR) methods typically utilize CLIP and cosine similarity for efficient retrieval. Meanwhile, cross attention methods, which employ a transformer decoder to compute attention between each text query and all frames in a video, offer a more comprehensive interaction between text and videos. However, these methods lack important fine-grained spatial information as they directly compute attention between text and video-level tokens. To address this issue, we propose CrossTVR, a two-stage text-video retrieval architecture. In the first stage, we leverage existing TVR methods with cosine similarity network for efficient text/video candidate selection. In the second stage, we propose a novel decoupled video text cross attention module to capture fine-grained multimodal information in spatial and temporal dimensions. Additionally, we employ the frozen CLIP model strategy in fine-grained retrieval, enabling scalability to larger pre-trained vision models like ViT-G, resulting in improved retrieval performance. Experiments on text video retrieval datasets demonstrate the effectiveness and scalability of our proposed CrossTVR compared to state-of-the-art approaches.
• Abstract（参考訳）: 最先端のテキストビデオ検索(TVR)手法は、CLIPとコサイン類似性を利用して効率的な検索を行うのが一般的である。 一方、トランスフォーマーデコーダを用いたクロスアテンション手法では、各テキストクエリーとビデオ中のすべてのフレーム間のアテンションを計算し、テキストとビデオ間のより包括的なインタラクションを提供する。 しかし、これらの手法はテキストとビデオレベルのトークン間の注意を直接計算するので、重要な空間情報を欠いている。 そこで本研究では,2段階のテキストビデオ検索アーキテクチャであるCrossTVRを提案する。 第1段階では,既存のTVR手法とコサイン類似性ネットワークを利用して,効率的なテキスト/ビデオ候補選択を行う。 第2段階では,空間的および時間的次元の細粒度マルチモーダル情報をキャプチャする,分離されたビデオテキストクロスアテンションモジュールを提案する。 さらに,vit-gのような大きめの事前学習ビジョンモデルへのスケーラビリティを実現することで,検索性能の向上を実現した。 テキストビデオ検索データセットの実験により,提案したCrossTVRの有効性とスケーラビリティを,最先端のアプローチと比較した。

関連論文リスト

• RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter [77.0205013713008]
  Text-Video Retrieval (TVR)は、関連するビデオコンテンツと自然言語クエリを連携させることを目的としている。 現在までに、ほとんどの最先端のTVR手法は、大規模な事前学習された視覚モデルに基づいて、画像からビデオへの変換学習を学習している。 パラメータ化層数で事前学習モデルの微調整を行うためのスパース・アンド・コラージュAdaPter (RAP) を提案する。
  論文  参考訳（メタデータ） (2024-05-29T19:23:53Z)
• An Empirical Study of Frame Selection for Text-to-Video Retrieval [62.28080029331507]
  テキスト・ツー・ビデオ検索(TVR)は、クエリーテキストが与えられた大きなビデオギャラリーで最も関連性の高いビデオを見つけることを目的としている。 既存の方法は通常、TVRのビデオコンテンツを表すためにビデオ内のフレームのサブセットを選択する。 本稿では,TVRにおけるフレーム選択の実証的研究を行う。
  論文  参考訳（メタデータ） (2023-11-01T05:03:48Z)
• Unified Coarse-to-Fine Alignment for Video-Text Retrieval [71.85966033484597]
  UCoFiAと呼ばれる統一粗粒配向モデルを提案する。 我々のモデルは、異なる粒度レベルで、モーダル間の類似情報をキャプチャする。 そこで,Sinkhorn-Knoppアルゴリズムを用いて各レベルの類似性を正規化し,それらを要約する。
  論文  参考訳（メタデータ） (2023-09-18T19:04:37Z)
• Prompt Switch: Efficient CLIP Adaptation for Text-Video Retrieval [24.691270610091554]
  本稿では,ビデオから意味的に強調された表現を純粋に学習し,ビデオ表現をオフラインで計算し,異なるテキストに対して再利用することを目的とする。 MSR-VTT, MSVD, LSMDCの3つのベンチマークデータセット上で, 最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-08-15T08:54:25Z)
• Video text tracking for dense and small text based on pp-yoloe-r and sort algorithm [0.9137554315375919]
  DSTextは1080 * 1920であり、ビデオフレームをいくつかの領域にスライスすると、テキストの空間的相関が破壊される。 テキスト検出には,小物体検出に有効なPP-YOLOE-Rを採用する。 テキスト検出には,高速な推論のためにソートアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-03-31T05:40:39Z)
• Contrastive Video-Language Learning with Fine-grained Frame Sampling [54.542962813921214]
  FineCoは、ビデオフレーム上で操作する微妙なコントラスト対象で、ビデオと言語表現をよりよく学習するアプローチである。 テキストと意味的に等価なフレームを選択することで、ビデオの削除を支援し、クロスモーダル対応を改善する。
  論文  参考訳（メタデータ） (2022-10-10T22:48:08Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)
• CLIP2Video: Mastering Video-Text Retrieval via Image CLIP [13.270902407320005]
  本稿では、CLIP2Videoネットワークを用いて、画像言語学習モデルをエンドツーエンドでビデオテキスト検索に転送する。 我々は,テキスト・ツー・ビデオ・トゥ・テキスト・検索ベンチマークにおいて,徹底的なアブレーション研究を行い,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-21T13:30:33Z)
• Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
  ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。 VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。 実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
  論文  参考訳（メタデータ） (2021-05-13T12:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。