論文の概要: VLAP: Efficient Video-Language Alignment via Frame Prompting and
Distilling for Video Question Answering
- arxiv url: http://arxiv.org/abs/2312.08367v1
- Date: Wed, 13 Dec 2023 18:58:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 14:25:33.278448
- Title: VLAP: Efficient Video-Language Alignment via Frame Prompting and
Distilling for Video Question Answering
- Title(参考訳): VLAP:ビデオ質問応答のためのフレームプロンプティングと蒸留による効率的なビデオ言語アライメント
- Authors: Xijun Wang, Junbang Liang, Chun-Kai Wang, Kenan Deng, Yu Lou, Ming
Lin, Shan Yang
- Abstract要約: 本稿では,フレームプロンプティング・蒸留(VLAP)ネットワークを用いた効率的なビデオ言語アライメントを提案する。
我々のVLAPモデルは、効率的なフレームサンプリングと効果的なクロスモーダルアライメントの両方に対処する。
我々のVLAPネットワークは(STARインタラクションでは+4.6%、STAR平均では+2.2%、3.0倍のスピードアップ)、ビデオ質問応答ベンチマークでは最先端の手法よりも優れています。
- 参考スコア(独自算出の注目度): 24.124492376188275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we propose an efficient Video-Language Alignment via
Frame-Prompting and Distilling (VLAP) network. Our VLAP model addresses both
efficient frame sampling and effective cross-modal alignment in a unified way.
In our VLAP network, we design a new learnable question-aware Frame-Prompter
together with a new cross-modal distillation (QFormer-Distiller) module.
Pre-trained large image-language models have shown promising results on
problems such as visual question answering. However, how to efficiently and
effectively sample image frames when adapting pre-trained large image-language
model to video-language alignment is still the major challenge. Compared with
prior work, our VLAP model demonstrates the capability of selecting key frames
with critical contents, thus improving the video-language alignment accuracy
while reducing the inference latency (+3.3% on NExT-QA Temporal with 3.0X speed
up). Overall, our VLAP network outperforms (e.g. +4.6% on STAR Interaction and
+2.2% on STAR average with 3.0X speed up, ours 2-frames out-perform SeViLA
4-frames on VLEP with 4.2X speed up) the state-of-the-art methods on the video
question-answering benchmarks.
- Abstract(参考訳): 本稿では,vlap(frame-prompting and distilling)ネットワークを用いた効率的な映像言語アライメントを提案する。
我々のVLAPモデルは、効率的なフレームサンプリングと効果的なクロスモーダルアライメントの両方を統一的に処理する。
VLAPネットワークでは,学習可能な新しいフレームプロンプタと,新しいクロスモーダル蒸留(QFormer-Distiller)モジュールを設計する。
事前訓練された大規模画像言語モデルは、視覚的質問応答のような問題に対して有望な結果を示した。
しかし,ビデオ言語アライメントに事前学習した大規模画像言語モデルを適応させる場合,画像フレームを効率的に効率的にサンプリングする方法が大きな課題である。
従来の作業と比較して,VLAPモデルは重要な内容を持つキーフレームを選択する能力を示し,推論遅延を低減し,映像のアライメント精度を向上する(NExT-QAのテンポラルでは3倍の速度で+3.3%)。
全体として、VLAPネットワークは、STARインタラクションでは+4.6%、STAR平均では+2.2%、VLEPではSeViLA 4フレームでは4.2倍、VLEPではSeViLA 4フレームでは4.2倍)、ビデオ質問応答ベンチマークでは最先端の手法よりも優れています。
関連論文リスト
- A Strong Baseline for Temporal Video-Text Alignment [67.0514869855102]
最適なタイムスタンプを推測するために、すべてのテキストをクエリとしてTransformerベースのアーキテクチャを採用する、シンプルで強力なモデルを構築します。
i)音声認識による誤りの低減のためのASRシステムのアップグレード効果,(ii)CLIPからS3D,さらに最近のInternVideoまで,様々な視覚的テクスチャバックボーンの効果について,徹底的な実験を行った。
提案手法は,ナレーションアライメントと手続き的ステップグラウンド処理の両方において優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-21T17:28:09Z) - VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。
データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。
機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
論文 参考訳(メタデータ) (2023-12-04T19:48:02Z) - Video-Teller: Enhancing Cross-Modal Generation with Fusion and
Decoupling [79.49128866877922]
Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。
Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。
大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
論文 参考訳(メタデータ) (2023-10-08T03:35:27Z) - VLAB: Enhancing Video Language Pre-training by Feature Adapting and
Blending [78.1399386935455]
CLIPのような大規模画像テキストコントラスト事前学習モデルは、高品質なマルチモーダル表現を効果的に学習することが実証されている。
本稿では,VLAB(VLAB: Video Language pre-training by feature generativeality and Blending)という新しいビデオテキスト事前学習手法を提案する。
VLABはCLIP表現をビデオ事前訓練タスクに転送し、幅広いビデオテキストタスクのための統合ビデオマルチモーダルモデルを開発する。
論文 参考訳(メタデータ) (2023-05-22T15:54:22Z) - Long-Form Video-Language Pre-Training with Multimodal Temporal
Contrastive Learning [39.80936685227549]
大規模ビデオ言語事前学習では、ビデオ言語理解タスクが大幅に改善されている。
我々は、VILA(Long-Form VIdeo-LAnguage Pre-Training Model)を導入し、大規模な長文ビデオおよび段落データセットでトレーニングする。
我々は、7つの下流の長文ビデオ言語理解タスクでモデルを微調整し、新しい最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-10-12T09:08:27Z) - Contrastive Video-Language Learning with Fine-grained Frame Sampling [54.542962813921214]
FineCoは、ビデオフレーム上で操作する微妙なコントラスト対象で、ビデオと言語表現をよりよく学習するアプローチである。
テキストと意味的に等価なフレームを選択することで、ビデオの削除を支援し、クロスモーダル対応を改善する。
論文 参考訳(メタデータ) (2022-10-10T22:48:08Z) - Advancing High-Resolution Video-Language Representation with Large-Scale
Video Transcriptions [31.4943447481144]
本稿では,共同学習と言語学習(VL)について検討し,モダリティ間の学習を可能とし,多くの下流作業に役立てる。
本モデルでは,10の理解タスクと2の新たなテキスト・ビジュアル生成タスクを実現する。
論文 参考訳(メタデータ) (2021-11-19T17:36:01Z) - A Good Prompt Is Worth Millions of Parameters? Low-resource Prompt-based
Learning for Vision-Language Models [50.27305012063483]
FewVLMは、視覚言語タスクに関する数発のプロンプトベースの学習ツールである。
我々はプレフィックス言語モデリング(PrefixLM)とマスク言語モデリング(MaskedLM)を併用したシーケンス・ツー・シーケンス・トランスフォーマーモデルを事前訓練する。
このプロンプトはゼロショット性能に大きく影響するが、少数ショット性能にはほとんど影響しない。
論文 参考訳(メタデータ) (2021-10-16T06:07:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。