論文の概要: PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning

• arxiv url: http://arxiv.org/abs/2404.16994v2
• Date: Mon, 29 Apr 2024 14:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 12:29:16.757033
• Title: PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning
• Title（参考訳）: PLLaVA : 映像から映像へのパラメータフリーLLaVA拡張
• Authors: Lin Xu, Yilin Zhao, Daquan Zhou, Zhijie Lin, See Kiong Ng, Jiashi Feng,
• Abstract要約: 視覚言語事前学習は、幅広い画像言語アプリケーションで性能を大幅に向上させた。 しかし、ビデオ関連タスクの事前学習プロセスは、非常に大きな計算とデータリソースを必要とする。 本稿では,映像理解のための既存の画像言語事前学習モデルに適用するための,ストレートフォワード,高効率,資源光のアプローチについて検討する。
• 参考スコア（独自算出の注目度）: 78.23573511641548
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-language pre-training has significantly elevated performance across a wide range of image-language applications. Yet, the pre-training process for video-related tasks demands exceptionally large computational and data resources, which hinders the progress of video-language models. This paper investigates a straight-forward, highly efficient, and resource-light approach to adapting an existing image-language pre-trained model for dense video understanding. Our preliminary experiments reveal that directly fine-tuning pre-trained image-language models with multiple frames as inputs on video datasets leads to performance saturation or even a drop. Our further investigation reveals that it is largely attributed to the bias of learned high-norm visual features. Motivated by this finding, we propose a simple but effective pooling strategy to smooth the feature distribution along the temporal dimension and thus reduce the dominant impacts from the extreme features. The new model is termed Pooling LLaVA, or PLLaVA in short. PLLaVA achieves new state-of-the-art performance on modern benchmark datasets for both video question-answer and captioning tasks. Notably, on the recent popular VideoChatGPT benchmark, PLLaVA achieves a score of 3.48 out of 5 on average of five evaluated dimensions, exceeding the previous SOTA results from GPT4V (IG-VLM) by 9%. On the latest multi-choice benchmark MVBench, PLLaVA achieves 58.1% accuracy on average across 20 sub-tasks, 14.5% higher than GPT4V (IG-VLM). Code is available at https://pllava.github.io/
• Abstract（参考訳）: 視覚言語事前学習は、幅広い画像言語アプリケーションで性能を大幅に向上させた。 しかし、ビデオ関連タスクの事前学習プロセスは、非常に大きな計算資源とデータ資源を必要としており、ビデオ言語モデルの進歩を妨げる。 本稿では,映像理解のための既存の画像言語事前学習モデルに適用するための,ストレートフォワード,高効率,資源光のアプローチについて検討する。 予備実験では、ビデオデータセットの入力として複数のフレームを持つ事前訓練済み画像言語モデルを直接調整することで、パフォーマンスの飽和や低下につながることが明らかとなった。 我々のさらなる調査は、学習された高ノルムの視覚的特徴のバイアスに起因することが明らかにされている。 この発見を動機として,時間次元に沿った特徴分布を円滑にし,極端特徴から支配的な影響を減らし,簡易かつ効果的なプーリング戦略を提案する。 新しいモデルはPooling LLaVA、略称PLLaVAと呼ばれる。 PLLaVAは、ビデオ質問応答タスクとキャプションタスクの両方に対して、最新のベンチマークデータセット上で、最先端のパフォーマンスを新たに実現している。 特に、最近人気のVideoChatGPTベンチマークでは、PLLaVAは5つの評価次元の平均で5点中3.48点のスコアを達成し、GPT4V(IG-VLM)の以前のSOTA結果よりも9%上回っている。 最新のマルチ選択ベンチマークMVBenchでは、PLLaVAはGPT4V(IG-VLM)よりも14.5%高い20のサブタスクで平均58.1%の精度を達成した。 コードはhttps://pllava.github.io/で公開されている。

関連論文リスト

• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• Video-LLaVA: Learning United Visual Representation by Alignment Before Projection [27.04277811443469]
  Video-LLaVAは、画像とビデオの混合データセットから学習し、相互に強化する。 Video-LLaVAは5つの画像問合せデータセットと4つの画像ベンチマークツールキットにまたがる9つの画像ベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-16T10:59:44Z)
• VLAB: Enhancing Video Language Pre-training by Feature Adapting and Blending [78.1399386935455]
  CLIPのような大規模画像テキストコントラスト事前学習モデルは、高品質なマルチモーダル表現を効果的に学習することが実証されている。 本稿では,VLAB(VLAB: Video Language pre-training by feature generativeality and Blending)という新しいビデオテキスト事前学習手法を提案する。 VLABはCLIP表現をビデオ事前訓練タスクに転送し、幅広いビデオテキストタスクのための統合ビデオマルチモーダルモデルを開発する。
  論文  参考訳（メタデータ） (2023-05-22T15:54:22Z)
• VindLU: A Recipe for Effective Video-and-Language Pretraining [83.49216853881595]
  本稿では,VidLモデル設計において最も重要な要素を解明する実証的研究を行う。 これらの経験的洞察を用いて、有効なVidL事前学習のためのステップバイステップレシピVindLUを開発した。 提案手法を用いてトレーニングしたモデルは,VidLタスクにおける最先端結果と同等かそれ以上の精度で達成できる。
  論文  参考訳（メタデータ） (2022-12-09T18:54:05Z)
• LiteVL: Efficient Video-Language Learning with Enhanced Spatial-Temporal Modeling [48.283659682112926]
  本稿では,事前学習した画像言語モデルBLIPを,下流タスク上で直接ビデオテキストモデルに適応させるLiteVLを提案する。 また、テキスト上に埋め込まれた微細なビデオ埋め込み条件を適応的に重み付けする非パラメトリックプーリング機構を提案する。
  論文  参考訳（メタデータ） (2022-10-21T13:03:49Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)
• Advancing High-Resolution Video-Language Representation with Large-Scale Video Transcriptions [31.4943447481144]
  本稿では,共同学習と言語学習(VL)について検討し,モダリティ間の学習を可能とし,多くの下流作業に役立てる。 本モデルでは,10の理解タスクと2の新たなテキスト・ビジュアル生成タスクを実現する。
  論文  参考訳（メタデータ） (2021-11-19T17:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。