論文の概要: Expertized Caption Auto-Enhancement for Video-Text Retrieval

• arxiv url: http://arxiv.org/abs/2502.02885v3
• Date: Tue, 08 Apr 2025 15:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:27:40.565332
• Title: Expertized Caption Auto-Enhancement for Video-Text Retrieval
• Title（参考訳）: ビデオテキスト検索のためのエキスパートキャプションオートエンハンスメント
• Authors: Baoyao Yang, Junxiang Chen, Wanyun Li, Wenbin Yao, Yang Zhou,
• Abstract要約: 本稿では,自動字幕強調手法を提案する。 本手法は完全にデータ駆動型であり,データ収集や計算処理の負荷を軽減できるだけでなく,自己適応性も向上する。 MSR-VTTでは68.5%,MSVDでは68.1%,DiDeMoでは62.0%,Top-1リコール精度は68.5%であった。
• 参考スコア（独自算出の注目度）: 10.250004732070494
• License:
• Abstract: Video-text retrieval has been stuck in the information mismatch caused by personalized and inadequate textual descriptions of videos. The substantial information gap between the two modalities hinders an effective cross-modal representation alignment, resulting in ambiguous retrieval results. Although text rewriting methods have been proposed to broaden text expressions, the modality gap remains significant, as the text representation space is hardly expanded with insufficient semantic enrichment.Instead, this paper turns to enhancing visual presentation, bridging video expression closer to textual representation via caption generation and thereby facilitating video-text matching.While multimodal large language models (mLLM) have shown a powerful capability to convert video content into text, carefully crafted prompts are essential to ensure the reasonableness and completeness of the generated captions. Therefore, this paper proposes an automatic caption enhancement method that improves expression quality and mitigates empiricism in augmented captions through self-learning.Additionally, an expertized caption selection mechanism is designed and introduced to customize augmented captions for each video, further exploring the utilization potential of caption augmentation.Our method is entirely data-driven, which not only dispenses with heavy data collection and computation workload but also improves self-adaptability by circumventing lexicon dependence and introducing personalized matching. The superiority of our method is validated by state-of-the-art results on various benchmarks, specifically achieving Top-1 recall accuracy of 68.5% on MSR-VTT, 68.1% on MSVD, and 62.0% on DiDeMo. Our code is publicly available at https://github.com/CaryXiang/ECA4VTR.
• Abstract（参考訳）: ビデオテキスト検索は、パーソナライズされた不適切なビデオのテキスト記述によって引き起こされる情報ミスマッチの中に立ち往生している。 2つのモダリティ間の実質的な情報ギャップは、効果的なクロスモーダルな表現アライメントを妨げ、あいまいな検索結果をもたらす。 テキストの書き起こし方法が提案されているが, テキスト表現空間は意味的豊かさが不足しているため, モダリティのギャップは大きい。その代わりに, 映像表現を字幕生成によりテキスト表現に近づき, ビデオテキストマッチングを容易にすることで, 映像コンテンツをテキストに変換する強力な能力を示した。 そこで本稿では,自動キャプション拡張手法を提案する。自動キャプション向上手法は,表現品質の向上と,自己学習による強調キャプションにおける経験主義の緩和を実現し,また,各ビデオのキャプションをカスタマイズするための専門的なキャプション選択機構を設計,導入し,キャプション拡張の活用可能性を探究する。 MSR-VTTでは68.5%,MSVDでは68.1%,DiDeMoでは62.0%,Top-1リコール精度は68.5%であった。 私たちのコードはhttps://github.com/CaryXiang/ECA4VTRで公開されています。

関連論文リスト

• GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval [56.610806615527885]
  本稿では,テキストとビデオ間の固有情報不均衡に対処するため,新しいデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。 ビデオをショートクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを総合的なシーン記述で強化する。 GQEは、MSR-VTT、MSVD、SMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• Towards Holistic Language-video Representation: the language model-enhanced MSR-Video to Text Dataset [4.452729255042396]
  より堅牢で総合的な言語とビデオの表現が、ビデオの理解を前進させる鍵だ。 現在の平易で単純なテキスト記述と、言語ビデオタスクに対する視覚のみの焦点は、現実世界の自然言語ビデオ検索タスクにおいて限られた能力をもたらす。 本稿では,ビデオ言語データセットを自動的に拡張し,モダリティと文脈認識を向上する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T20:16:17Z)
• SHE-Net: Syntax-Hierarchy-Enhanced Text-Video Retrieval [11.548061962976321]
  我々は新しい構文階層強化テキストビデオ検索法(SHE-Net)を提案する。 まず、よりきめ細かい視覚コンテンツの統合を容易にするために、テキスト記述の文法構造を明らかにするテキスト構文階層を用いる。 第2に、マルチモーダルな相互作用とアライメントをさらに強化するために、構文階層を利用して類似性計算を導出する。
  論文  参考訳（メタデータ） (2024-04-22T10:23:59Z)
• Unifying Latent and Lexicon Representations for Effective Video-Text Retrieval [87.69394953339238]
  ビデオテキスト検索における微細な意味を捉えるために語彙表現を学習するUNIFYフレームワークを提案する。 MSR-VTT と DiDeMo をそれぞれ4.8%,Recall@1 を8.2%改善した。
  論文  参考訳（メタデータ） (2024-02-26T17:36:50Z)
• Video-Teller: Enhancing Cross-Modal Generation with Fusion and Decoupling [79.49128866877922]
  Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。 Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。 大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-08T03:35:27Z)
• Does Video Summarization Require Videos? Quantifying the Effectiveness of Language in Video Summarization [37.09662541127891]
  入力ビデオのサイズが要約されるため、コンピュータビジョンにおいてビデオの要約は依然として大きな課題である。 本稿では,高いデータ効率で競合精度を実現する,効率的な言語のみの映像要約器を提案する。
  論文  参考訳（メタデータ） (2023-09-18T00:08:49Z)
• In-Style: Bridging Text and Uncurated Videos with Style Transfer for Text-Video Retrieval [72.98185525653504]
  トレーニング中は、テキストクエリと未処理のWebビデオのみを併用する、未修正データによる新しい設定、テキストビデオ検索を提案する。 一般化を改善するために、複数のテキストスタイルで1つのモデルを訓練できることを示す。 提案手法の利点を実証するため,複数のデータセットを対象とした検索性能のモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-09-16T08:48:21Z)
• CelebV-Text: A Large-Scale Facial Text-Video Dataset [91.22496444328151]
  CelebV-Textは、顔テキストとビデオのペアの大規模で多様で高品質なデータセットである。 CelebV-Textは、7万本の顔ビデオクリップと多様なビジュアルコンテンツで構成され、それぞれに半自動テキスト生成戦略を用いて生成された20のテキストをペアリングする。 他のデータセットよりもCelebV-Textの方が優れていることは、ビデオ、テキスト、およびテキスト-ビデオ関連性の包括的な統計分析によって示される。
  論文  参考訳（メタデータ） (2023-03-26T13:06:35Z)
• Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision [54.73758942064708]
  我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。 トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
  論文  参考訳（メタデータ） (2020-11-19T03:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。