論文の概要: GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval

• arxiv url: http://arxiv.org/abs/2408.07249v1
• Date: Wed, 14 Aug 2024 01:24:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 14:25:40.020565
• Title: GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval
• Title（参考訳）: GQE: 拡張テキストビデオ検索のための汎用クエリ拡張
• Authors: Zechen Bai, Tianjun Xiao, Tong He, Pichao Wang, Zheng Zhang, Thomas Brox, Mike Zheng Shou,
• Abstract要約: 本稿では,テキストとビデオ間の固有情報不均衡に対処するため,新しいデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。 ビデオをショートクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを総合的なシーン記述で強化する。 GQEは、MSR-VTT、MSVD、SMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 56.610806615527885
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the rapidly expanding domain of web video content, the task of text-video retrieval has become increasingly critical, bridging the semantic gap between textual queries and video data. This paper introduces a novel data-centric approach, Generalized Query Expansion (GQE), to address the inherent information imbalance between text and video, enhancing the effectiveness of text-video retrieval systems. Unlike traditional model-centric methods that focus on designing intricate cross-modal interaction mechanisms, GQE aims to expand the text queries associated with videos both during training and testing phases. By adaptively segmenting videos into short clips and employing zero-shot captioning, GQE enriches the training dataset with comprehensive scene descriptions, effectively bridging the data imbalance gap. Furthermore, during retrieval, GQE utilizes Large Language Models (LLM) to generate a diverse set of queries and a query selection module to filter these queries based on relevance and diversity, thus optimizing retrieval performance while reducing computational overhead. Our contributions include a detailed examination of the information imbalance challenge, a novel approach to query expansion in video-text datasets, and the introduction of a query selection strategy that enhances retrieval accuracy without increasing computational costs. GQE achieves state-of-the-art performance on several benchmarks, including MSR-VTT, MSVD, LSMDC, and VATEX, demonstrating the effectiveness of addressing text-video retrieval from a data-centric perspective.
• Abstract（参考訳）: ウェブビデオコンテンツの領域が急速に拡大する中で、テキスト・ビデオ検索の課題はますます重要になってきており、テキストクエリとビデオデータのセマンティックなギャップを埋めている。 本稿では,テキストとビデオ間の不均衡に対処し,テキスト・ビデオ検索システムの有効性を高めるために,新たなデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。 複雑なクロスモーダルなインタラクションメカニズムの設計に重点を置く従来のモデル中心の手法とは異なり、GQEはトレーニングとテストフェーズの両方でビデオに関連するテキストクエリを拡張することを目的としている。 ビデオを短いクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを包括的なシーン記述で強化し、データ不均衡のギャップを効果的に埋める。 さらに,検索においてGQEはLarge Language Models(LLM)を用いてクエリの多様なセットとクエリ選択モジュールを生成し,関連性と多様性に基づいてこれらのクエリをフィルタリングし,計算オーバーヘッドを低減しながら検索性能を最適化する。 コントリビューションには、情報不均衡課題の詳細な検証、ビデオテキストデータセットのクエリ拡張に対する新しいアプローチ、計算コストを増大させることなく検索精度を向上させるクエリ選択戦略の導入が含まれる。 GQEは、MSR-VTT、MSVD、LSMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現し、データ中心の観点からテキストビデオ検索に対処するの有効性を実証している。

関連論文リスト

• Personalized Video Summarization using Text-Based Queries and Conditional Modeling [3.4447129363520337]
  この論文は、テキストベースのクエリと条件付きモデリングを統合することで、ビデオ要約の強化を探求する。 精度やF1スコアなどの評価指標は、生成された要約の品質を評価する。
  論文  参考訳（メタデータ） (2024-08-27T02:43:40Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• SHE-Net: Syntax-Hierarchy-Enhanced Text-Video Retrieval [11.548061962976321]
  我々は新しい構文階層強化テキストビデオ検索法(SHE-Net)を提案する。 まず、よりきめ細かい視覚コンテンツの統合を容易にするために、テキスト記述の文法構造を明らかにするテキスト構文階層を用いる。 第2に、マルチモーダルな相互作用とアライメントをさらに強化するために、構文階層を利用して類似性計算を導出する。
  論文  参考訳（メタデータ） (2024-04-22T10:23:59Z)
• iRAG: Advancing RAG for Videos with an Incremental Approach [3.486835161875852]
  大規模なビデオコーパス内のすべてのコンテンツをテキスト記述に一回、前もって変換することは、高い処理時間を必要とする。 iRAGと呼ばれるインクリメンタルなRAGシステムを提案し、RAGを新たなインクリメンタルなワークフローで拡張し、ビデオデータのインタラクティブなクエリを可能にする。 iRAGは、大規模なビデオコーパスの効率的なインタラクティブクエリをサポートするインクリメンタルワークフローでRAGを拡張する最初のシステムである。
  論文  参考訳（メタデータ） (2024-04-18T16:38:02Z)
• Scaling Up Video Summarization Pretraining with Large Language Models [73.74662411006426]
  本稿では,大規模ビデオ要約データセットを生成するための,自動化されたスケーラブルなパイプラインを提案する。 我々は既存のアプローチの限界を分析し、それらに効果的に対処する新しいビデオ要約モデルを提案する。 我々の研究は、プロが注釈付けした高品質の要約を持つ1200本の長編ビデオを含む新しいベンチマークデータセットも提示した。
  論文  参考訳（メタデータ） (2024-04-04T11:59:06Z)
• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)
• Text-Video Retrieval via Variational Multi-Modal Hypergraph Networks [25.96897989272303]
  テキストビデオ検索の主な障害は、クエリのテキストの性質とビデオコンテンツの視覚的豊かさとのセマンティックなギャップである。 本稿では,クエリチャンクを抽出して,特定の検索単位を記述するチャンクレベルのテキストビデオマッチングを提案する。 クェリの単語とビデオのフレーム間のn-ary相関モデルとしてチャンクレベルのマッチングを定式化する。
  論文  参考訳（メタデータ） (2024-01-06T09:38:55Z)
• Zero-shot Audio Topic Reranking using Large Language Models [42.774019015099704]
  実例によるマルチモーダルビデオ検索 (MVSE) では, ビデオクリップを情報検索の問合せ語として利用する。 本研究の目的は,この高速アーカイブ検索による性能損失を,再ランク付け手法を検証することによって補償することである。 パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-09-14T11:13:36Z)
• Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
  モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。 3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
  論文  参考訳（メタデータ） (2023-09-01T13:06:50Z)
• Convolutional Hierarchical Attention Network for Query-Focused Video Summarization [74.48782934264094]
  本稿では、ユーザのクエリと長いビデオを入力として取り込む、クエリ中心のビデオ要約の課題に対処する。 本稿では,特徴符号化ネットワークとクエリ関連計算モジュールの2つの部分からなる畳み込み階層型注意ネットワーク(CHAN)を提案する。 符号化ネットワークでは,局所的な自己認識機構と問合せ対応のグローバルアテンション機構を備えた畳み込みネットワークを用いて,各ショットの視覚情報を学習する。
  論文  参考訳（メタデータ） (2020-01-31T04:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。