論文の概要: Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach

• arxiv url: http://arxiv.org/abs/2408.07249v2
• Date: Sat, 08 Mar 2025 13:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:42:33.655011
• Title: Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach
• Title（参考訳）: テキストビデオ検索におけるブリッジ情報非対称性:データ中心アプローチ
• Authors: Zechen Bai, Tianjun Xiao, Tong He, Pichao Wang, Zheng Zhang, Thomas Brox, Mike Zheng Shou,
• Abstract要約: テキストビデオ検索(TVR)における重要な課題は、ビデオとテキスト間の情報非対称性である。 本稿では,このギャップを埋めるために,テキスト表現を豊かにすることで,映像コンテンツの豊かさに合わせたデータ中心のフレームワークを提案する。 本稿では,最も関連性が高く多様なクエリを識別し,計算コストを低減し,精度を向上するクエリ選択機構を提案する。
• 参考スコア（独自算出の注目度）: 56.610806615527885
• License:
• Abstract: As online video content rapidly grows, the task of text-video retrieval (TVR) becomes increasingly important. A key challenge in TVR is the information asymmetry between video and text: videos are inherently richer in information, while their textual descriptions often capture only fragments of this complexity. This paper introduces a novel, data-centric framework to bridge this gap by enriching textual representations to better match the richness of video content. During training, videos are segmented into event-level clips and captioned to ensure comprehensive coverage. During retrieval, a large language model (LLM) generates semantically diverse queries to capture a broader range of possible matches. To enhance retrieval efficiency, we propose a query selection mechanism that identifies the most relevant and diverse queries, reducing computational cost while improving accuracy. Our method achieves state-of-the-art results across multiple benchmarks, demonstrating the power of data-centric approaches in addressing information asymmetry in TVR. This work paves the way for new research focused on leveraging data to improve cross-modal retrieval.
• Abstract（参考訳）: オンラインビデオコンテンツが急速に普及するにつれて、テキストビデオ検索(TVR)の課題がますます重要になっている。 TVRにおける重要な課題は、ビデオとテキストの間の情報非対称性である:ビデオは本質的に情報に富んでいるが、それらのテキスト記述は、この複雑さの断片のみを捉えている。 本稿では,このギャップを埋めるために,映像コンテンツの豊かさに合うようにテキスト表現を充実させることにより,新しいデータ中心のフレームワークを提案する。 トレーニング中、ビデオはイベントレベルのクリップに分割され、包括的カバレッジを確保するためにキャプションされる。 検索中、大きな言語モデル(LLM)は意味的に多様なクエリを生成し、より広い範囲のマッチングをキャプチャする。 検索効率を向上させるために、最も関連性の高い多様なクエリを識別し、精度を向上しながら計算コストを削減できるクエリ選択機構を提案する。 提案手法は,TVRにおける情報非対称性に対処する上で,データ中心のアプローチの有効性を示す。 この研究は、クロスモーダル検索を改善するためにデータを活用することに焦点を当てた新しい研究の道を開く。

関連論文リスト

• VideoRAG: Retrieval-Augmented Generation over Video Corpus [57.68536380621672]
  VideoRAGは、クエリと関連性に基づいて関連動画を動的に検索する新しいフレームワークである。 我々は,ビデオRAGの有効性を実験的に検証し,関連するベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-10T11:17:15Z)
• Personalized Video Summarization using Text-Based Queries and Conditional Modeling [3.4447129363520337]
  この論文は、テキストベースのクエリと条件付きモデリングを統合することで、ビデオ要約の強化を探求する。 精度やF1スコアなどの評価指標は、生成された要約の品質を評価する。
  論文  参考訳（メタデータ） (2024-08-27T02:43:40Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• iRAG: Advancing RAG for Videos with an Incremental Approach [3.486835161875852]
  大規模なビデオコーパス内のすべてのコンテンツをテキスト記述に一回、前もって変換することは、高い処理時間を必要とする。 iRAGと呼ばれるインクリメンタルなRAGシステムを提案し、RAGを新たなインクリメンタルなワークフローで拡張し、ビデオデータのインタラクティブなクエリを可能にする。 iRAGは、大規模なビデオコーパスの効率的なインタラクティブクエリをサポートするインクリメンタルワークフローでRAGを拡張する最初のシステムである。
  論文  参考訳（メタデータ） (2024-04-18T16:38:02Z)
• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)
• Text-Video Retrieval via Variational Multi-Modal Hypergraph Networks [25.96897989272303]
  テキストビデオ検索の主な障害は、クエリのテキストの性質とビデオコンテンツの視覚的豊かさとのセマンティックなギャップである。 本稿では,クエリチャンクを抽出して,特定の検索単位を記述するチャンクレベルのテキストビデオマッチングを提案する。 クェリの単語とビデオのフレーム間のn-ary相関モデルとしてチャンクレベルのマッチングを定式化する。
  論文  参考訳（メタデータ） (2024-01-06T09:38:55Z)
• Zero-shot Audio Topic Reranking using Large Language Models [42.774019015099704]
  実例によるマルチモーダルビデオ検索 (MVSE) では, ビデオクリップを情報検索の問合せ語として利用する。 本研究の目的は,この高速アーカイブ検索による性能損失を,再ランク付け手法を検証することによって補償することである。 パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-09-14T11:13:36Z)
• Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
  モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。 3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
  論文  参考訳（メタデータ） (2023-09-01T13:06:50Z)
• Convolutional Hierarchical Attention Network for Query-Focused Video Summarization [74.48782934264094]
  本稿では、ユーザのクエリと長いビデオを入力として取り込む、クエリ中心のビデオ要約の課題に対処する。 本稿では,特徴符号化ネットワークとクエリ関連計算モジュールの2つの部分からなる畳み込み階層型注意ネットワーク(CHAN)を提案する。 符号化ネットワークでは,局所的な自己認識機構と問合せ対応のグローバルアテンション機構を備えた畳み込みネットワークを用いて,各ショットの視覚情報を学習する。
  論文  参考訳（メタデータ） (2020-01-31T04:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。