論文の概要: PAVE: Patching and Adapting Video Large Language Models

• arxiv url: http://arxiv.org/abs/2503.19794v1
• Date: Tue, 25 Mar 2025 16:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:52:43.176860
• Title: PAVE: Patching and Adapting Video Large Language Models
• Title（参考訳）: PAVE: ビデオ大言語モデルへのパッチ適用と適応
• Authors: Zhuoming Liu, Yiquan Li, Khoi Duc Nguyen, Yiwu Zhong, Yin Li,
• Abstract要約: 本稿では,事前学習したビデオLLMを,サイドチャネル信号を用いた下流タスクに適用するためのフレキシブルなフレームワークPAVEを提案する。 PAVEは"パッチ"と呼ばれる軽量アダプタを導入し、少数のパラメータと操作をベースモデルに追加する。 PAVEは、最先端のタスク特化モデルを上回る、ベースモデルの性能を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 10.252884653843344
• License:
• Abstract: Pre-trained video large language models (Video LLMs) exhibit remarkable reasoning capabilities, yet adapting these models to new tasks involving additional modalities or data types (e.g., audio or 3D information) remains challenging. In this paper, we present PAVE, a flexible framework for adapting pre-trained Video LLMs to downstream tasks with side-channel signals, such as audio, 3D cues, or multi-view videos. PAVE introduces lightweight adapters, referred to as "patches," which add a small number of parameters and operations to a base model without modifying its architecture or pre-trained weights. In doing so, PAVE can effectively adapt the pre-trained base model to support diverse downstream tasks, including audio-visual question answering, 3D reasoning, multi-view video recognition, and high frame rate video understanding. Across these tasks, PAVE significantly enhances the performance of the base model, surpassing state-of-the-art task-specific models while incurring a minor cost of ~0.1% additional FLOPs and parameters. Further, PAVE supports multi-task learning and generalizes well across different Video LLMs. Our code is available at https://github.com/dragonlzm/PAVE.
• Abstract（参考訳）: 事前訓練されたビデオ大言語モデル(ビデオLLM)は、優れた推論能力を示すが、追加のモダリティやデータタイプ(オーディオや3D情報など)を含む新しいタスクにこれらのモデルを適用することは、依然として困難である。 本稿では,オーディオ,3Dキュー,マルチビュービデオなどのサイドチャネル信号を用いて,事前学習したビデオLLMを下流タスクに適用するためのフレキシブルなフレームワークであるPAVEを提案する。 PAVEは"パッチ"と呼ばれる軽量アダプタを導入し、アーキテクチャやトレーニング済みの重みを変更することなく、少数のパラメータや操作をベースモデルに追加する。 これにより、PAVEはトレーニング済みのベースモデルに効果的に適応し、音声-視覚的質問応答、3D推論、マルチビュービデオ認識、高フレームレートビデオ理解など様々な下流タスクをサポートすることができる。 これらのタスク全体にわたって、PAVEはベースモデルの性能を大幅に向上させ、最先端のタスク固有のモデルを上回る一方で、FLOPとパラメータを約0.1%追加する小さなコストを発生させる。 さらに、PAVEはマルチタスク学習をサポートし、異なるビデオLLM間でうまく一般化する。 私たちのコードはhttps://github.com/dragonlzm/PAVE.comで公開されています。

関連論文リスト

• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• VideoPoet: A Large Language Model for Zero-Shot Video Generation [78.57171527944774]
  VideoPoetは、高品質なビデオと一致するオーディオを合成できる言語モデルである。 VideoPoetはマルチモーダル入力を処理するデコーダのみのトランスフォーマーアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2023-12-21T18:46:41Z)
• Probabilistic Adaptation of Text-to-Video Models [181.84311524681536]
  Video Adapterは、タスク固有の小さなビデオモデルに、幅広い知識を取り入れ、大きな事前訓練されたビデオモデルの忠実度を維持することができる。 Video Adapterは、アニメーション、エゴセントリックなモデリング、シミュレートされた実世界のロボティクスデータのモデリングなど、さまざまなタスクで高品質で特殊なビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-06-02T19:00:17Z)
• VideoLLM: Modeling Video Sequence with Large Language Models [70.32832021713864]
  既存のビデオ理解モデルは、しばしばタスク固有であり、多様なタスクを扱う包括的な能力に欠ける。 我々は,事前学習したLLMのシーケンス推論機能を活用する,VideoLLMという新しいフレームワークを提案する。 VideoLLMは慎重に設計されたModality and Semantic Translatorを組み込んでおり、様々なモードからの入力を統一されたトークンシーケンスに変換する。
  論文  参考訳（メタデータ） (2023-05-22T17:51:22Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• MuLTI: Efficient Video-and-Language Understanding with Text-Guided MultiWay-Sampler and Multiple Choice Modeling [7.737755720567113]
  本稿では,高精度かつ効率的な映像・言語理解モデル MuLTI を提案する。 適応プール残差マッピングと自己アテンションモジュールに基づくテキストガイド型マルチウェイサンプラーを設計する。 また,新しい事前学習タスクであるMultiple Choice Modelingを提案する。
  論文  参考訳（メタデータ） (2023-03-10T05:22:39Z)
• LiteVL: Efficient Video-Language Learning with Enhanced Spatial-Temporal Modeling [48.283659682112926]
  本稿では,事前学習した画像言語モデルBLIPを,下流タスク上で直接ビデオテキストモデルに適応させるLiteVLを提案する。 また、テキスト上に埋め込まれた微細なビデオ埋め込み条件を適応的に重み付けする非パラメトリックプーリング機構を提案する。
  論文  参考訳（メタデータ） (2022-10-21T13:03:49Z)
• Parameter-Efficient Image-to-Video Transfer Learning [66.82811235484607]
  様々な下流タスクのための大規模な事前訓練されたモデルが、最近、有望なパフォーマンスで登場した。 モデルのサイズが拡大しているため、モデルトレーニングや記憶の面では、標準のフルチューニングベースのタスク適応戦略がコストがかかる。 本稿では,ビデオタスク毎のパラメータ効率の高い微調整のための新しいスペーシ・アダプタを提案する。
  論文  参考訳（メタデータ） (2022-06-27T18:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。