論文の概要: Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

• arxiv url: http://arxiv.org/abs/2306.02858v4
• Date: Wed, 25 Oct 2023 06:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 20:31:52.433293
• Title: Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
• Title（参考訳）: Video-LLaMA: 映像理解のための命令調整型オーディオ・ビジュアル言語モデル
• Authors: Hang Zhang, Xin Li, Lidong Bing
• Abstract要約: Video-LLaMAは、ビデオ内の視覚的および聴覚的コンテンツの両方を理解する能力を備えた、大規模言語モデル(LLM)を強化するフレームワークである。 Video-LLaMAブートストラップは、凍結された事前訓練されたビジュアルおよびオーディオエンコーダと凍結されたLCMからのクロスモーダルトレーニングである。 Video-LLaMAは,映像コンテンツを知覚し,理解し,意味のある応答を生成する能力を示す。
• 参考スコア（独自算出の注目度）: 61.80870130860662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Video-LLaMA a multi-modal framework that empowers Large Language Models (LLMs) with the capability of understanding both visual and auditory content in the video. Video-LLaMA bootstraps cross-modal training from the frozen pre-trained visual and audio encoders and the frozen LLMs. Unlike previous works that complement LLMs to process the visual or audio signals only, Video-LLaMA enables video comprehension by tackling two challenges: (1) capturing the temporal changes in visual scenes, (2) integrating audio-visual signals. To counter the first challenge, we propose a Video Q-former to assemble a pre-trained image encoder into our video encoder and introduce a video-to-text generation task to learn video-language correspondence. For the second challenge, we leverage ImageBind, a universal embedding model aligning multiple modalities, as the pre-trained audio encoder and introduce an Audio Q-former on top of ImageBind to learn reasonable auditory query embeddings for the LLM module. To align the output of both visual and audio encoders with LLM's embedding space, we first train Video-LLaMA on massive video/image-caption pairs and then tune our model with visual-instruction datasets of moderate amount but higher quality. We found Video-LLaMA shows the ability to perceive and comprehend video content and generate meaningful responses grounded in the visual and auditory information presented in the videos.
• Abstract（参考訳）: 本稿では,大規模言語モデル(llm)に映像中の視覚と聴覚の両方のコンテンツを理解させる機能を備えたマルチモーダルフレームワークであるvideo-llamaを提案する。 video-llamaは、凍結学習済みのビジュアルおよびオーディオエンコーダと凍結したllmからのクロスモーダルトレーニングをブートストラップする。 LLMを補完して視覚信号や音声信号のみを処理する従来の作品とは異なり、Video-LLaMAは、(1)映像シーンの時間的変化、(2)音声視覚信号の統合という2つの課題に取り組むことで、映像理解を可能にする。 最初の課題に対処するため,ビデオエンコーダにトレーニング済みの画像エンコーダを組み込むためのビデオQ-formerを提案し,ビデオ言語対応学習のためのビデオ・テキスト生成タスクを導入する。 第2の課題として,事前学習されたオーディオエンコーダとして,複数のモダリティを整合させた汎用組込みモデルであるimagebindを,imagebind上にオーディオqフォーマを導入することで,llmモジュールの適切な聴覚クエリ組込みを学習する。 映像エンコーダとオーディオエンコーダの出力をLLMの埋め込み空間に合わせるため,ビデオララマを大量のビデオ/画像キャプチャーペアでトレーニングし,適度だが高品質なビジュアルインストラクションデータセットでモデルを調整する。 ビデオ-LLaMAは,映像内容の認識と理解能力を示し,映像に提示される視覚的・聴覚的情報に基づく有意義な応答を生成する。

関連論文リスト

• LLMs Meet Long Video: Advancing Long Video Comprehension with An Interactive Visual Adapter in LLMs [24.79384819644494]
  長いビデオ理解は、マルチメディアと人工知能の交差において、重要かつ進行中の課題である。 大型言語モデル(LLM)における対話型ビジュアルアダプタ(IVA)を提案する。
  論文  参考訳（メタデータ） (2024-02-21T05:56:52Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [53.92519123600325]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VideoPoet: A Large Language Model for Zero-Shot Video Generation [76.8750054724165]
  VideoPoetは、高品質なビデオと一致するオーディオを合成できる言語モデルである。 VideoPoetはマルチモーダル入力を処理するデコーダのみのトランスフォーマーアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2023-12-21T18:46:41Z)
• Audio-Visual LLM for Video Understanding [25.963166809113005]
  本稿では,視覚的および聴覚的入力を総合的ビデオ理解に用いたマルチモーダル大言語モデルであるAudio-Visual LLMを提案する。 GPT-4から派生した高品質のビデオ命令データセットを提案する。 実験により、オーディオ・ビジュアルのLLMは、様々なビデオ理解タスクで強いゼロショット結果が得られることが実証された。
  論文  参考訳（メタデータ） (2023-12-11T02:50:46Z)
• Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models [25.660343393359565]
  本稿では,マルチモーダル大言語モデル(LLM)のための微細な音声-視覚共同表現(FAVOR)学習フレームワークを提案する。 FAVORは、音声入力ストリーム内の音声および音声イベントと、視覚入力ストリーム内の画像またはビデオを、フレームレベルで同時に知覚する。 FAVORのインタラクティブなデモはhttps://github.com/BriansIDP/AudioVisualLLM.gitで公開されている。
  論文  参考訳（メタデータ） (2023-10-09T17:00:20Z)
• Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation [89.96013329530484]
  本研究では,多様な意味クラスから自然音声サンプルによってガイドされる多種多様なリアルなビデオを生成するタスクについて考察する。 既存のテキスト条件付きビデオ生成モデルと事前学習されたオーディオエンコーダモデルを利用する。 提案手法は,音声映像サンプルの有意な意味的多様性を示す3つのデータセットに対して広範に検証する。
  論文  参考訳（メタデータ） (2023-09-28T13:26:26Z)
• VideoLLM: Modeling Video Sequence with Large Language Models [70.32832021713864]
  既存のビデオ理解モデルは、しばしばタスク固有であり、多様なタスクを扱う包括的な能力に欠ける。 我々は,事前学習したLLMのシーケンス推論機能を活用する,VideoLLMという新しいフレームワークを提案する。 VideoLLMは慎重に設計されたModality and Semantic Translatorを組み込んでおり、様々なモードからの入力を統一されたトークンシーケンスに変換する。
  論文  参考訳（メタデータ） (2023-05-22T17:51:22Z)
• HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training [75.55823420847759]
  本稿では,大規模ビデオ+言語オムニ表現学習のための新しいフレームワークHEROを提案する。 HEROは階層構造でマルチモーダル入力を符号化し、ビデオフレームのローカルコンテキストをクロスモーダル変換器でキャプチャする。 HEROはHowTo100Mと大規模TVデータセットを共同でトレーニングし、マルチキャラクタインタラクションによる複雑な社会的ダイナミクスの理解を深める。
  論文  参考訳（メタデータ） (2020-05-01T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。