論文の概要: A Flexible and Scalable Framework for Video Moment Search

• arxiv url: http://arxiv.org/abs/2501.05072v1
• Date: Thu, 09 Jan 2025 08:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:59:40.741488
• Title: A Flexible and Scalable Framework for Video Moment Search
• Title（参考訳）: ビデオモーメント検索のためのフレキシブルでスケーラブルなフレームワーク
• Authors: Chongzhi Zhang, Xizhou Zhu, Aixin Sun,
• Abstract要約: 本稿では,テキストクエリにマッチする任意の長さの動画のコレクションからランク付けされたモーメントのリストを取得するためのフレキシブルなフレームワークを提案する。 SPR(Segment-Proposal-Ranking)と呼ばれる我々のフレームワークは,探索プロセスを,セグメント検索,提案生成,モーメント改善という3つの独立した段階に単純化する。 TVR-Rankingデータセットの評価から,我々のフレームワークは,計算コストと処理時間を大幅に削減して最先端の性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 51.47907684209207
• License:
• Abstract: Video moment search, the process of finding relevant moments in a video corpus to match a user's query, is crucial for various applications. Existing solutions, however, often assume a single perfect matching moment, struggle with inefficient inference, and have limitations with hour-long videos. This paper introduces a flexible and scalable framework for retrieving a ranked list of moments from collection of videos in any length to match a text query, a task termed Ranked Video Moment Retrieval (RVMR). Our framework, called Segment-Proposal-Ranking (SPR), simplifies the search process into three independent stages: segment retrieval, proposal generation, and moment refinement with re-ranking. Specifically, videos are divided into equal-length segments with precomputed embeddings indexed offline, allowing efficient retrieval regardless of video length. For scalable online retrieval, both segments and queries are projected into a shared feature space to enable approximate nearest neighbor (ANN) search. Retrieved segments are then merged into coarse-grained moment proposals. Then a refinement and re-ranking module is designed to reorder and adjust timestamps of the coarse-grained proposals. Evaluations on the TVR-Ranking dataset demonstrate that our framework achieves state-of-the-art performance with significant reductions in computational cost and processing time. The flexible design also allows for independent improvements to each stage, making SPR highly adaptable for large-scale applications.
• Abstract（参考訳）: ビデオモーメント検索は、ユーザのクエリにマッチするビデオコーパス内の関連モーメントを見つけるプロセスであり、様々なアプリケーションに不可欠である。 しかし、既存のソリューションでは、1つの完全なマッチングモーメントを仮定し、非効率な推論に苦しむことがあり、1時間のビデオに制限がある。 本稿では,テキストクエリにマッチする任意の長さの動画のコレクションから,ランク付きビデオモーメント検索(RVMR)というタスクを抽出する,フレキシブルでスケーラブルなフレームワークを提案する。 SPR(Segment-Proposal-Ranking)と呼ばれる我々のフレームワークは,探索プロセスを,セグメント検索,提案生成,モーメント改善という3つの独立した段階に単純化する。 具体的には、ビデオはオフラインでインデックス付けされた事前計算された埋め込みを伴う等長セグメントに分割され、ビデオ長に関係なく効率的に検索できる。 スケーラブルなオンライン検索では、セグメントとクエリの両方が共有機能空間に投影され、近接する隣人(ANN)検索を可能にする。 得られたセグメントは、粗いモーメント提案にマージされる。 その後、粗い提案のタイムスタンプを並べ替え、調整するために、改良と再ランクのモジュールが設計される。 また,TVR-Rankingデータセットの評価から,我々のフレームワークは計算コストと処理時間を大幅に削減して最先端の性能を実現することを示した。 フレキシブルな設計は各ステージに独立して改善を可能にし、SPRを大規模アプリケーションに高度に適応させることができる。

関連論文リスト

• Sync from the Sea: Retrieving Alignable Videos from Large-Scale Datasets [62.280729345770936]
  AVR(Alignable Video Retrieval)の課題について紹介する。 クェリビデオが与えられた場合、我々は大量のクリップから良質な映像を識別し、時間的にクェリに同期させることができる。 大規模なKineetics700を含む3つのデータセットに関する実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-02T20:00:49Z)
• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)
• SCANet: Scene Complexity Aware Network for Weakly-Supervised Video Moment Retrieval [27.68871220534595]
  ビデオモーメント検索は、与えられた言語クエリに対応するビデオ内のモーメントをローカライズすることを目的としている。 本稿では,Scene Aware Network(SCANet)と呼ばれる検索システムについて紹介する。 SCANetは、各ビデオ内の複数のシーンのシーン複雑性を計測し、各ビデオ内のシーンの様々な複雑さに対応する適応的な提案を生成する。
  論文  参考訳（メタデータ） (2023-10-08T17:19:58Z)
• Hierarchical Video-Moment Retrieval and Step-Captioning [68.4859260853096]
  HiRESTは、インストラクショナルビデオデータセットから3.4Kのテキストビデオペアで構成されている。 我々の階層的ベンチマークは、ビデオ検索、モーメント検索、2つの新しいモーメントセグメンテーション、ステップキャプションタスクからなる。
  論文  参考訳（メタデータ） (2023-03-29T02:33:54Z)
• CONQUER: Contextual Query-aware Ranking for Video Corpus Moment Retrieval [24.649068267308913]
  ビデオ検索アプリケーションは、ユーザーが大きなビデオコーパスから正確な瞬間を検索できるようにする。 本稿では,効率的なモーメントローカライゼーションとランキングのための新しいモデルを提案する。 クローズドワールドTVエピソードのTVRと、オープンワールドのユーザ生成ビデオのDiDeMoの2つのデータセットについて研究する。
  論文  参考訳（メタデータ） (2021-09-21T08:07:27Z)
• Temporal Query Networks for Fine-grained Video Understanding [88.9877174286279]
  我々はこれをクエリ応答機構にキャストし、各クエリが特定の質問に対処し、独自の応答ラベルセットを持つ。 本手法は,細粒度動作分類のためのファインガイムおよびダイビング48ベンチマークを広範囲に評価し,rgb機能のみを用いて最先端の動作分類を克服した。
  論文  参考訳（メタデータ） (2021-04-19T17:58:48Z)
• A Hierarchical Multi-Modal Encoder for Moment Localization in Video Corpus [31.387948069111893]
  テキストクエリにセマンティックにマッチする長いビデオにおいて、短いセグメントを識別する方法を示す。 この問題に対処するために、粗いクリップレベルと微調整フレームレベルの両方でビデオをエンコードするHierArchical Multi-Modal EncodeR (HAMMER)を提案する。 我々は、ActivityNet CaptionsとTVRデータセット上のビデオコーパスにおけるモーメントローカライゼーションのモデルを評価するために、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2020-11-18T02:42:36Z)
• Temporal Context Aggregation for Video Retrieval with Contrastive Learning [81.12514007044456]
  フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。 提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2020-08-04T05:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。