論文の概要: A CLIP-Hitchhiker's Guide to Long Video Retrieval
- arxiv url: http://arxiv.org/abs/2205.08508v1
- Date: Tue, 17 May 2022 17:26:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 15:00:12.990138
- Title: A CLIP-Hitchhiker's Guide to Long Video Retrieval
- Title（参考訳）: CLIP-Hitchhikerによるロングビデオ検索ガイド
- Authors: Max Bain, Arsha Nagrani, G\"ul Varol, Andrew Zisserman
- Abstract要約: 長いビデオ検索のための画像テキストモデルの適応性について検討する。
近年の研究では,CLIPを用いた映像検索における最先端性能が実証されている。
クエリスコーディングによるフレーム埋め込みの重み付き平均値の単純かつ効果的なベースラインは、大きな改善であることがわかった。
- 参考スコア（独自算出の注目度）: 84.36155238161462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our goal in this paper is the adaptation of image-text models for long video
retrieval. Recent works have demonstrated state-of-the-art performance in video
retrieval by adopting CLIP, effectively hitchhiking on the image-text
representation for video tasks. However, there has been limited success in
learning temporal aggregation that outperform mean-pooling the image-level
representations extracted per frame by CLIP. We find that the simple yet
effective baseline of weighted-mean of frame embeddings via query-scoring is a
significant improvement above all prior temporal modelling attempts and
mean-pooling. In doing so, we provide an improved baseline for others to
compare to and demonstrate state-of-the-art performance of this simple baseline
on a suite of long video retrieval benchmarks.
- Abstract（参考訳）: 本稿では,長期ビデオ検索のための画像テキストモデルの適応化を目標とする。
近年の研究では、CLIPを採用することで、映像検索における最先端のパフォーマンスが実証されている。
しかし、フレームごとに抽出された画像レベルの表現をクリップで平均プールする時間集約の学習に成功している。
クエリスコーリングによるフレーム埋め込みの重み付き平均の単純かつ効果的なベースラインは、事前の時間的モデリングの試みや平均プールよりも大幅に改善されていることが分かりました。
そこで我々は,この単純なベースラインの最先端性能を,長いビデオ検索ベンチマークで比較し,実証するために,改良されたベースラインを提供する。
関連論文リスト
- Learning text-to-video retrieval from image captioning [59.81537951811595]
本稿では,未収録ビデオを用いたテキスト・ビデオ検索訓練のプロトコルについて述べる。
i) ビデオのラベルにアクセスできず、(ii) テキスト形式でラベル付き画像にアクセスすると仮定する。
画像キャプションによるビデオフレームの自動ラベル付けにより,テキスト対ビデオ検索のトレーニングが可能になることを示す。
論文 参考訳（メタデータ） (2024-04-26T15:56:08Z) - VidLA: Video-Language Alignment at Scale [48.665918882615195]
大規模なビデオ言語アライメントのためのアプローチであるVidLAを提案する。
提案手法は,複数の検索ベンチマークにおける最先端手法を超越した手法である。
論文 参考訳（メタデータ） (2024-03-21T22:36:24Z) - Fine-tuned CLIP Models are Efficient Video Learners [54.96069171726668]
画像テキストペアによる大規模マルチモーダルトレーニングは、CLIPモデルに強力な一般化を与える。
Video Fine-Tuned CLIP (ViFi-CLIP) ベースラインは一般的に、画像からビデオへの領域ギャップを埋めるのに十分である。
論文 参考訳（メタデータ） (2022-12-06T18:59:58Z) - Representation Recycling for Streaming Video Analysis [19.068248496174903]
StreamDEQは、最小フレーム当たりの計算量でビデオのフレームワイズ表現を推論することを目的としている。
StreamDEQは、数フレームの時間でほぼ最適表現を復元でき、ビデオ期間を通して最新の表現を維持できることを示す。
論文 参考訳（メタデータ） (2022-04-28T13:35:14Z) - Frame-wise Action Representations for Long Videos via Sequence
Contrastive Learning [44.412145665354736]
本稿では,フレームワイドな行動表現を学習するための,新しいコントラッシブな行動表現学習フレームワークを提案する。
自己教師型学習の最近の進歩に触発されて,2つの相関する視点に適用した新しいシーケンス・コントラッシブ・ロス(SCL)を提案する。
提案手法は,映像アライメントや細かなフレーム検索作業において,優れた性能を示す。
論文 参考訳（メタデータ） (2022-03-28T17:59:54Z) - Temporal Context Aggregation for Video Retrieval with Contrastive
Learning [81.12514007044456]
フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。
提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
論文 参考訳（メタデータ） (2020-08-04T05:24:20Z) - Fine-Grained Instance-Level Sketch-Based Video Retrieval [159.12935292432743]
細粒度インスタンスレベルのスケッチベースビデオ検索(FG-SBVR)の新しいクロスモーダル検索問題を提案する。
スケッチベースの静止画像検索や粗いカテゴリレベルのビデオ検索と比較すると、視覚的外観と動きの両方を微粒なレベルで同時にマッチングする必要があるため、これはより困難である。
このモデルは,映像解析用に設計された既存の最先端モデルよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2020-02-21T18:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。