論文の概要: ViLA: Efficient Video-Language Alignment for Video Question Answering

• arxiv url: http://arxiv.org/abs/2312.08367v4
• Date: Tue, 01 Oct 2024 10:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:32:43.537376
• Title: ViLA: Efficient Video-Language Alignment for Video Question Answering
• Title（参考訳）: ViLA: ビデオ質問応答のための効果的なビデオ言語アライメント
• Authors: Xijun Wang, Junbang Liang, Chun-Kai Wang, Kenan Deng, Yu Lou, Ming Lin, Shan Yang,
• Abstract要約: 我々のViLAネットワークは、効率的なフレームサンプリングと効果的なクロスモーダルアライメントの両方に対処する。 我々のViLAネットワークは、ビデオ質問応答ベンチマークにおいて最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 22.972518862771697
• License:
• Abstract: In this work, we propose an efficient Video-Language Alignment (ViLA) network. Our ViLA model addresses both efficient frame sampling and effective cross-modal alignment in a unified way. In our ViLA network, we design a new learnable text-guided Frame-Prompter together with a new cross-modal distillation (QFormer-Distiller) module. Pre-trained large image-language models have shown promising results on problems such as visual question answering (VQA). However, how to efficiently and effectively sample video frames when adapting pre-trained large image-language model to video-language alignment is still the major challenge. Compared with prior work, our ViLA model demonstrates the capability of selecting key frames with critical contents, thus improving the video-language alignment accuracy while reducing the inference latency +3.3% on NExT-QA Temporal with 3.0X speed up). Overall, our ViLA network outperforms the state-of-the-art methods on the video question-answering benchmarks: +4.6% on STAR Interaction, +2.2% on STAR average with 3.0X speed up, ours 2-frames out-perform SeViLA 4-frames on the VLEP dataset with 4.2X speed-up. The code will be available at https://github.com/xijun-cs/ViLA.
• Abstract（参考訳）: 本研究では,効率的なビデオ言語アライメント(ViLA)ネットワークを提案する。 我々のViLAモデルは、効率的なフレームサンプリングと効果的なクロスモーダルアライメントの両方を統一的に処理する。 我々のViLAネットワークでは、新しい学習可能なテキスト誘導フレームプロンプタと、新しいクロスモーダル蒸留(QFormer-Distiller)モジュールを設計する。 事前訓練された大規模画像言語モデルは、視覚的質問応答(VQA)のような問題に対して有望な結果を示した。 しかし、ビデオ言語アライメントに事前学習した大規模画像言語モデルを適応させる場合、ビデオフレームを効率的に効果的にサンプリングする方法は依然として大きな課題である。 従来の作業と比較して、VLAモデルは重要な内容を持つキーフレームを選択する能力を示し、NExT-QAテンポラルにおける推論遅延+3.3%を3倍のスピードアップで削減し、ビデオ言語アライメントの精度を向上させる。 総じて、我々のViLAネットワークは、ビデオ質問答えベンチマークにおける最先端の手法よりも優れており、STARインタラクションでは+4.6%、STAR平均では+2.2%、3.0倍のスピードアップで+2.2%、VLEPデータセットではSeViLA 4フレームを4.2倍のスピードアップで上回っている。 コードはhttps://github.com/xijun-cs/ViLA.comから入手できる。

関連論文リスト

• InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
  InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。 私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
  論文  参考訳（メタデータ） (2024-03-22T17:57:42Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• VLAB: Enhancing Video Language Pre-training by Feature Adapting and Blending [78.1399386935455]
  CLIPのような大規模画像テキストコントラスト事前学習モデルは、高品質なマルチモーダル表現を効果的に学習することが実証されている。 本稿では,VLAB(VLAB: Video Language pre-training by feature generativeality and Blending)という新しいビデオテキスト事前学習手法を提案する。 VLABはCLIP表現をビデオ事前訓練タスクに転送し、幅広いビデオテキストタスクのための統合ビデオマルチモーダルモデルを開発する。
  論文  参考訳（メタデータ） (2023-05-22T15:54:22Z)
• Self-Chained Image-Language Model for Video Localization and Question Answering [66.86740990630433]
  ビデオ上での時間的ローカライゼーションとQAに対処するために,SeViLA(Se-Chained Video-Answering)フレームワークを提案する。 SeViLAフレームワークはLocalizerとAnswererの2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-05-11T17:23:00Z)
• MAtch, eXpand and Improve: Unsupervised Finetuning for Zero-Shot Action Recognition with Language Knowledge [35.45809761628721]
  大規模ヴィジュアル・ランゲージ(VL)モデルは、視覚とテキストのモダリティの表現の整合に大きな成功を収めている。 ゼロショット動作認識性能を最良にするために,ビデオデータのチューニングを教師なしで行う手法を提案する。 得られたモデルでは、多くのゼロショットダウンストリームタスクに高い転送性を示す。
  論文  参考訳（メタデータ） (2023-03-15T20:17:41Z)
• Long-Form Video-Language Pre-Training with Multimodal Temporal Contrastive Learning [39.80936685227549]
  大規模ビデオ言語事前学習では、ビデオ言語理解タスクが大幅に改善されている。 我々は、VILA(Long-Form VIdeo-LAnguage Pre-Training Model)を導入し、大規模な長文ビデオおよび段落データセットでトレーニングする。 我々は、7つの下流の長文ビデオ言語理解タスクでモデルを微調整し、新しい最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-12T09:08:27Z)
• Contrastive Video-Language Learning with Fine-grained Frame Sampling [54.542962813921214]
  FineCoは、ビデオフレーム上で操作する微妙なコントラスト対象で、ビデオと言語表現をよりよく学習するアプローチである。 テキストと意味的に等価なフレームを選択することで、ビデオの削除を支援し、クロスモーダル対応を改善する。
  論文  参考訳（メタデータ） (2022-10-10T22:48:08Z)
• Revealing Single Frame Bias for Video-and-Language Learning [115.01000652123882]
  単一フレームのトレーニングモデルでは,トレーニングに複数のフレームを使用する既存手法よりも優れたパフォーマンスが得られることを示す。 この結果は、人気のあるビデオおよび言語データセットに強い「静的な外観バイアス」が存在することを明らかにする。 本稿では、時間的モデリングを促進するために、既存のきめ細かい行動認識データセットに基づく2つの新しい検索タスクを提案する。
  論文  参考訳（メタデータ） (2022-06-07T16:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。