論文の概要: Retrieval Enhanced Zero-Shot Video Captioning

• arxiv url: http://arxiv.org/abs/2405.07046v1
• Date: Sat, 11 May 2024 16:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 18:47:31.242198
• Title: Retrieval Enhanced Zero-Shot Video Captioning
• Title（参考訳）: 検索型ゼロショットビデオキャプション
• Authors: Yunchuan Ma, Laiyun Qing, Guorong Li, Yuankai Qi, Quan Z. Sheng, Qingming Huang,
• Abstract要約: 一般的な映像理解モデルXCLIP,一般画像理解モデルCLIP,テキスト生成モデルGPT-2の3つの主要なモデルを用いて映像とテキストをブリッジする。 そこで本研究では,凍結したGPT-2と凍結したXCLIPとの間の通信媒体として,学習可能なトークンを提案する。 実験では、従来の最先端の手法と比較して、主要な測定基準であるCIDErが4%から20%改善されている。
• 参考スコア（独自算出の注目度）: 69.96136689829778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the significant progress of fully-supervised video captioning, zero-shot methods remain much less explored. In this paper, we propose to take advantage of existing pre-trained large-scale vision and language models to directly generate captions with test time adaptation. Specifically, we bridge video and text using three key models: a general video understanding model XCLIP, a general image understanding model CLIP, and a text generation model GPT-2, due to their source-code availability. The main challenge is how to enable the text generation model to be sufficiently aware of the content in a given video so as to generate corresponding captions. To address this problem, we propose using learnable tokens as a communication medium between frozen GPT-2 and frozen XCLIP as well as frozen CLIP. Differing from the conventional way to train these tokens with training data, we update these tokens with pseudo-targets of the inference data under several carefully crafted loss functions which enable the tokens to absorb video information catered for GPT-2. This procedure can be done in just a few iterations (we use 16 iterations in the experiments) and does not require ground truth data. Extensive experimental results on three widely used datasets, MSR-VTT, MSVD, and VATEX, show 4% to 20% improvements in terms of the main metric CIDEr compared to the existing state-of-the-art methods.
• Abstract（参考訳）: 完全に監督されたビデオキャプションの大幅な進歩にもかかわらず、ゼロショット法はいまだに研究されていない。 本稿では,既存の学習済み大規模視覚と言語モデルを利用して,テスト時間適応型の字幕を直接生成する手法を提案する。 具体的には、一般的なビデオ理解モデルXCLIP、一般的な画像理解モデルCLIP、およびテキスト生成モデルGPT-2の3つの主要なモデルを用いて、映像とテキストをブリッジする。 主な課題は、テキスト生成モデルが所定のビデオの内容を十分に認識し、対応するキャプションを生成する方法である。 そこで本研究では,凍結したGPT-2と凍結したXCLIPと,凍結したCLIPとの通信媒体として,学習可能なトークンを提案する。 本稿では,これらのトークンをトレーニングデータでトレーニングする従来の方法と異なり,これらのトークンを複数の注意深い損失関数の下で推論データの擬似ターゲットで更新し,GPT-2に適合する映像情報の吸収を可能にする。 この手順はほんの数イテレーションで実行できます(実験では16回使用しています)。 MSR-VTT、MSVD、VATEXの3つの広く使われているデータセットに対する大規模な実験結果は、既存の最先端手法と比較して、CIDErの主測度において4%から20%改善されている。

関連論文リスト

• Visual Fact Checker: Enabling High-Fidelity Detailed Caption Generation [34.45033554641476]
  視覚的コンテンツの自動キャプション手法は、詳細の欠如、幻覚内容の欠如、後続の指示不足などの課題に直面している。 フレキシブルなトレーニングフリーパイプラインであるVisualFactChecker(VFC)を提案し、2次元画像と3次元オブジェクトの両方に対して高忠実かつ詳細なキャプションを生成する。 VFCは、1)画像からテキストへのキャプションモデルが複数の初期キャプションを提案する提案、2)大規模言語モデル(LLM)がオブジェクト検出やVQAモデルなどのツールを使用して提案されたキャプションをファクトチェックする検証の3段階で構成されている。
  論文  参考訳（メタデータ） (2024-04-30T17:55:27Z)
• Learning text-to-video retrieval from image captioning [59.81537951811595]
  本稿では,未収録ビデオを用いたテキスト・ビデオ検索訓練のプロトコルについて述べる。 i) ビデオのラベルにアクセスできず、(ii) テキスト形式でラベル付き画像にアクセスすると仮定する。 画像キャプションによるビデオフレームの自動ラベル付けにより,テキスト対ビデオ検索のトレーニングが可能になることを示す。
  論文  参考訳（メタデータ） (2024-04-26T15:56:08Z)
• M2-RAAP: A Multi-Modal Recipe for Advancing Adaptation-based Pre-training towards Effective and Efficient Zero-shot Video-text Retrieval [13.418762442122723]
  本稿では,M2-RAAPと呼ばれる,効果的かつ効率的なゼロショットビデオテキスト検索のための適応型事前学習のためのマルチモーダルレシピを提案する。
  論文  参考訳（メタデータ） (2024-01-31T12:45:44Z)
• Scalable and Accurate Self-supervised Multimodal Representation Learning without Aligned Video and Text Data [18.479220305684837]
  画像キャプションの最近の進歩により、並列なビデオテキストデータなしで高品質な映像モデルを事前訓練することが可能になった。 既存のHowTo100M ASRキャプションよりも,イメージキャプションの擬似ラベルが事前学習に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-04T19:11:05Z)
• DeCap: Decoding CLIP Latents for Zero-Shot Captioning via Text-Only Training [73.74291217502928]
  ゼロショットキャプションのための単純なフレームワークであるDeCapを提案する。 軽量な視覚認識言語デコーダを提案する。 視覚的な埋め込みはCLIPテキスト埋め込み空間に投影するが、投影された埋め込みは視覚的な入力の情報を保持する。
  論文  参考訳（メタデータ） (2023-03-06T11:02:47Z)
• CLIP-ViP: Adapting Pre-trained Image-Text Model to Video-Language Representation Alignment [146.3128011522151]
  本稿では,CLIP,すなわちCLIP-ViPに基づいて,ビデオプロキシ機構を備えたOmniクロスモーダル学習手法を提案する。 提案手法は,ビデオテキスト検索におけるCLIPの性能を大きなマージンで向上させる。 MSR-VTT, DiDeMo, LSMDC, ActivityNet など,様々なデータセット上でのSOTA結果も得られた。
  論文  参考訳（メタデータ） (2022-09-14T05:47:02Z)
• Expanding Language-Image Pretrained Models for General Video Recognition [136.0948049010682]
  対照的な言語画像事前学習は,Webスケールデータから視覚・テキスト共同表現を学習する上で大きな成功を収めている。 本稿では,事前学習した言語イメージモデルをビデオ認識に直接適応させる,シンプルで効果的な手法を提案する。 我々の手法は、2つの一般的なプロトコルでトップ1の精度で、現在の最先端の手法を+7.6%、+14.9%上回る。
  論文  参考訳（メタデータ） (2022-08-04T17:59:54Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• CLIP4Caption: CLIP for Video Caption [9.470254059503862]
  私たちは、CLIP対応ビデオテキストマッチングネットワーク(VTM)に基づくビデオキャプションを改善するCLIP4Captionフレームワークを提案する。 このフレームワークは、視覚と言語の両方からの情報を完全に活用し、テキスト生成のための強力なテキスト関連ビデオ機能を学ぶためにモデルを強制している。
  論文  参考訳（メタデータ） (2021-10-13T10:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。