論文の概要: Distilling Vision-Language Models on Millions of Videos

• arxiv url: http://arxiv.org/abs/2401.06129v2
• Date: Mon, 15 Apr 2024 21:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 23:25:43.776471
• Title: Distilling Vision-Language Models on Millions of Videos
• Title（参考訳）: 何百万もの動画の視覚・言語モデル
• Authors: Yue Zhao, Long Zhao, Xingyi Zhou, Jialin Wu, Chun-Te Chu, Hui Miao, Florian Schroff, Hartwig Adam, Ting Liu, Boqing Gong, Philipp Krähenbühl, Liangzhe Yuan,
• Abstract要約: 合成した指導データを用いて,映像言語ベースラインから映像言語モデルを微調整する。 ビデオインストラクションチューニング(VIIT)によって生成されたビデオモデルは、高品質なキャプションを生成するために何百万ものビデオの自動ラベル付けに使用される。 副産物として、これまでで最大のビデオキャプションデータセットを生成します。
• 参考スコア（独自算出の注目度）: 62.92789440875999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent advance in vision-language models is largely attributed to the abundance of image-text data. We aim to replicate this success for video-language models, but there simply is not enough human-curated video-text data available. We thus resort to fine-tuning a video-language model from a strong image-language baseline with synthesized instructional data. The resulting video model by video-instruction-tuning (VIIT) is then used to auto-label millions of videos to generate high-quality captions. We show the adapted video-language model performs well on a wide range of video-language benchmarks. For instance, it surpasses the best prior result on open-ended NExT-QA by 2.8%. Besides, our model generates detailed descriptions for previously unseen videos, which provide better textual supervision than existing methods. Experiments show that a video-language dual-encoder model contrastively trained on these auto-generated captions is 3.8% better than the strongest baseline that also leverages vision-language models. Our best model outperforms state-of-the-art methods on MSR-VTT zero-shot text-to-video retrieval by 6%. As a side product, we generate the largest video caption dataset to date.
• Abstract（参考訳）: 近年の視覚言語モデルの進歩は、画像テキストデータの豊富さによるところが大きい。 我々は、この成功をビデオ言語モデルで再現することを目指していますが、単に人間が計算したビデオテキストデータが不足しています。 そこで我々は,合成した指導データを用いて,強力な画像言語ベースラインから映像言語モデルを微調整する。 ビデオインストラクションチューニング(VIIT)によって生成されたビデオモデルは、高品質なキャプションを生成するために何百万ものビデオの自動ラベル付けに使用される。 適応されたビデオ言語モデルは、幅広いビデオ言語ベンチマークでよく機能することを示す。 例えば、オープンエンドのNEXT-QAにおいて、最も先行した結果を2.8%上回っている。 また,本モデルでは未確認映像の詳細な記述が生成され,既存の手法よりもテキスト管理が優れている。 実験により、これらの自動生成キャプションで対照的に訓練されたビデオ言語二重エンコーダモデルは、視覚言語モデルも活用する最強のベースラインよりも3.8%良いことが示されている。 MSR-VTTゼロショットテキスト・ビデオ検索の最先端手法を6%向上させる。 副産物として、これまでで最大のビデオキャプションデータセットを生成します。

関連論文リスト

• Panda-70M: Captioning 70M Videos with Multiple Cross-Modality Teachers [93.65253661843145]
  高品質なキャプションを持つビデオデータセットを自動構築する手法を提案する。 具体的には、公開されているHD-VILA-100Mデータセットから3.8Mの高解像度ビデオをキュレートする。 次に、複数のモダリティの教師モデルを適用して、各ビデオのキャプションを取得する。 こうして、高品質なテキストキャプションと、7000万のビデオが組み合わされる。
  論文  参考訳（メタデータ） (2024-02-29T18:59:50Z)
• VideoCon: Robust Video-Language Alignment via Contrast Captions [80.08882631838914]
  ビデオ言語アライメントモデルは、ビデオキャプションのセマンティックなコントラスト変化に対して堅牢ではない。 私たちの研究は、エンティティの置換やアクション、イベント順序の反転など、幅広いコントラストのミスアライメントを特定します。 本モデルは,時間的に拡大したビデオ言語タスクにおけるゼロショット性能の新たな状態を設定する。
  論文  参考訳（メタデータ） (2023-11-15T19:51:57Z)
• Video-Teller: Enhancing Cross-Modal Generation with Fusion and Decoupling [79.49128866877922]
  Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。 Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。 大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-08T03:35:27Z)
• MAtch, eXpand and Improve: Unsupervised Finetuning for Zero-Shot Action Recognition with Language Knowledge [35.45809761628721]
  大規模ヴィジュアル・ランゲージ(VL)モデルは、視覚とテキストのモダリティの表現の整合に大きな成功を収めている。 ゼロショット動作認識性能を最良にするために,ビデオデータのチューニングを教師なしで行う手法を提案する。 得られたモデルでは、多くのゼロショットダウンストリームタスクに高い転送性を示す。
  論文  参考訳（メタデータ） (2023-03-15T20:17:41Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• Language Models with Image Descriptors are Strong Few-Shot Video-Language Learners [167.0346394848718]
  画像と言語モデルを用いたビデオ言語学習システムVidILを提案する。 画像言語モデルを用いて、映像コンテンツをフレームキャプション、オブジェクト、属性、イベントフレーズに変換する。 次に、いくつかのインコンテキスト例を含むプロンプトを持つ言語モデルに指示して、合成されたコンテンツからターゲット出力を生成する。
  論文  参考訳（メタデータ） (2022-05-22T05:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。