論文の概要: Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

• arxiv url: http://arxiv.org/abs/2306.02858v4
• Date: Wed, 25 Oct 2023 06:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 20:31:52.433293
• Title: Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
• Title（参考訳）: Video-LLaMA: 映像理解のための命令調整型オーディオ・ビジュアル言語モデル
• Authors: Hang Zhang, Xin Li, Lidong Bing
• Abstract要約: Video-LLaMAは、ビデオ内の視覚的および聴覚的コンテンツの両方を理解する能力を備えた、大規模言語モデル(LLM)を強化するフレームワークである。 Video-LLaMAブートストラップは、凍結された事前訓練されたビジュアルおよびオーディオエンコーダと凍結されたLCMからのクロスモーダルトレーニングである。 Video-LLaMAは,映像コンテンツを知覚し,理解し,意味のある応答を生成する能力を示す。
• 参考スコア（独自算出の注目度）: 61.80870130860662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Video-LLaMA a multi-modal framework that empowers Large Language Models (LLMs) with the capability of understanding both visual and auditory content in the video. Video-LLaMA bootstraps cross-modal training from the frozen pre-trained visual and audio encoders and the frozen LLMs. Unlike previous works that complement LLMs to process the visual or audio signals only, Video-LLaMA enables video comprehension by tackling two challenges: (1) capturing the temporal changes in visual scenes, (2) integrating audio-visual signals. To counter the first challenge, we propose a Video Q-former to assemble a pre-trained image encoder into our video encoder and introduce a video-to-text generation task to learn video-language correspondence. For the second challenge, we leverage ImageBind, a universal embedding model aligning multiple modalities, as the pre-trained audio encoder and introduce an Audio Q-former on top of ImageBind to learn reasonable auditory query embeddings for the LLM module. To align the output of both visual and audio encoders with LLM's embedding space, we first train Video-LLaMA on massive video/image-caption pairs and then tune our model with visual-instruction datasets of moderate amount but higher quality. We found Video-LLaMA shows the ability to perceive and comprehend video content and generate meaningful responses grounded in the visual and auditory information presented in the videos.
• Abstract（参考訳）: 本稿では,大規模言語モデル(llm)に映像中の視覚と聴覚の両方のコンテンツを理解させる機能を備えたマルチモーダルフレームワークであるvideo-llamaを提案する。 video-llamaは、凍結学習済みのビジュアルおよびオーディオエンコーダと凍結したllmからのクロスモーダルトレーニングをブートストラップする。 LLMを補完して視覚信号や音声信号のみを処理する従来の作品とは異なり、Video-LLaMAは、(1)映像シーンの時間的変化、(2)音声視覚信号の統合という2つの課題に取り組むことで、映像理解を可能にする。 最初の課題に対処するため,ビデオエンコーダにトレーニング済みの画像エンコーダを組み込むためのビデオQ-formerを提案し,ビデオ言語対応学習のためのビデオ・テキスト生成タスクを導入する。 第2の課題として,事前学習されたオーディオエンコーダとして,複数のモダリティを整合させた汎用組込みモデルであるimagebindを,imagebind上にオーディオqフォーマを導入することで,llmモジュールの適切な聴覚クエリ組込みを学習する。 映像エンコーダとオーディオエンコーダの出力をLLMの埋め込み空間に合わせるため,ビデオララマを大量のビデオ/画像キャプチャーペアでトレーニングし,適度だが高品質なビジュアルインストラクションデータセットでモデルを調整する。 ビデオ-LLaMAは,映像内容の認識と理解能力を示し,映像に提示される視覚的・聴覚的情報に基づく有意義な応答を生成する。

関連論文リスト

• Interpolating Video-LLMs: Toward Longer-sequence LMMs in a Training-free Manner [53.671484175063995]
  ビデオ-LLMはショートビデオの処理のために事前訓練されており、長いビデオコンテンツを理解するための幅広いアプリケーションを制限する。 固定ビデオエンコーダとアライメントプロジェクタの制約を回避するための代替ビデオトークン再構成手法を提案する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:55Z)
• video-SALMONN: Speech-Enhanced Audio-Visual Large Language Models [27.54879344983513]
  Video-SALMONNは、視覚的なフレームシーケンス、オーディオイベント、音楽だけでなく、音声も理解できる。 Video-SALMONNは、他のav-LLMでは前例のないタスクに対して、驚くべきビデオ理解と推論能力を示す。
  論文  参考訳（メタデータ） (2024-06-22T01:36:11Z)
• VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs [55.82090875098132]
  VideoLLaMA 2は、ビデオおよびオーディオ指向タスクにおける時空間モデリングと音声理解を強化するために設計されたビデオ大言語モデル(Video Large Language Models, Video-LLMs)のセットである。 VideoLLaMA 2は、オープンソースモデル間の競争結果を一貫して達成し、いくつかのベンチマークでいくつかのプロプライエタリなモデルに近づいた。
  論文  参考訳（メタデータ） (2024-06-11T17:22:23Z)
• InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
  InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。 私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
  論文  参考訳（メタデータ） (2024-03-22T17:57:42Z)
• VideoPoet: A Large Language Model for Zero-Shot Video Generation [78.57171527944774]
  VideoPoetは、高品質なビデオと一致するオーディオを合成できる言語モデルである。 VideoPoetはマルチモーダル入力を処理するデコーダのみのトランスフォーマーアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2023-12-21T18:46:41Z)
• Audio-Visual LLM for Video Understanding [25.963166809113005]
  本稿では,視覚的および聴覚的入力を総合的ビデオ理解に用いたマルチモーダル大言語モデルであるAudio-Visual LLMを提案する。 GPT-4から派生した高品質のビデオ命令データセットを提案する。 実験により、オーディオ・ビジュアルのLLMは、様々なビデオ理解タスクで強いゼロショット結果が得られることが実証された。
  論文  参考訳（メタデータ） (2023-12-11T02:50:46Z)
• Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models [25.660343393359565]
  本稿では,マルチモーダル大言語モデル(LLM)のための微細な音声-視覚共同表現(FAVOR)学習フレームワークを提案する。 FAVORは、音声入力ストリーム内の音声および音声イベントと、視覚入力ストリーム内の画像またはビデオを、フレームレベルで同時に知覚する。 FAVORのインタラクティブなデモはhttps://github.com/BriansIDP/AudioVisualLLM.gitで公開されている。
  論文  参考訳（メタデータ） (2023-10-09T17:00:20Z)
• VideoLLM: Modeling Video Sequence with Large Language Models [70.32832021713864]
  既存のビデオ理解モデルは、しばしばタスク固有であり、多様なタスクを扱う包括的な能力に欠ける。 我々は,事前学習したLLMのシーケンス推論機能を活用する,VideoLLMという新しいフレームワークを提案する。 VideoLLMは慎重に設計されたModality and Semantic Translatorを組み込んでおり、様々なモードからの入力を統一されたトークンシーケンスに変換する。
  論文  参考訳（メタデータ） (2023-05-22T17:51:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。