論文の概要: ResNetVLLM -- Multi-modal Vision LLM for the Video Understanding Task

• arxiv url: http://arxiv.org/abs/2504.14432v1
• Date: Sun, 20 Apr 2025 00:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 00:34:33.880476
• Title: ResNetVLLM -- Multi-modal Vision LLM for the Video Understanding Task
• Title（参考訳）: ResNetVLLM -- 映像理解タスクのためのマルチモーダルビジョンLLM
• Authors: Ahmad Khalil, Mahmoud Khalil, Alioune Ngom,
• Abstract要約: ResNetVLLM (ResNet Vision LLM) はゼロショットビデオ理解のためのクロスモーダルフレームワークである。 ResNetベースのビジュアルエンコーダとLarge Language Model (LLM)を統合している。
• 参考スコア（独自算出の注目度）: 0.40964539027092917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce ResNetVLLM (ResNet Vision LLM), a novel cross-modal framework for zero-shot video understanding that integrates a ResNet-based visual encoder with a Large Language Model (LLM. ResNetVLLM addresses the challenges associated with zero-shot video models by avoiding reliance on pre-trained video understanding models and instead employing a non-pretrained ResNet to extract visual features. This design ensures the model learns visual and semantic representations within a unified architecture, enhancing its ability to generate accurate and contextually relevant textual descriptions from video inputs. Our experimental results demonstrate that ResNetVLLM achieves state-of-the-art performance in zero-shot video understanding (ZSVU) on several benchmarks, including MSRVTT-QA, MSVD-QA, TGIF-QA FrameQA, and ActivityNet-QA.
• Abstract（参考訳）: 本稿では、ResNetベースのビジュアルエンコーダとLarge Language Model(LLM)を統合する、ゼロショットビデオ理解のための新しいクロスモーダルフレームワークであるResNetVLLM(ResNet Vision LLM)を紹介する。 ResNetVLLMは、事前訓練されたビデオ理解モデルへの依存を避け、代わりに非事前訓練されたResNetを使用して視覚的特徴を抽出することで、ゼロショットビデオモデルに関連する課題に対処する。 この設計により、モデルは統一されたアーキテクチャ内で視覚的および意味的な表現を学習し、ビデオ入力から正確で文脈的に関係のあるテキスト記述を生成する能力を向上させる。 実験の結果,MSRVTT-QA,MSVD-QA,TGIF-QA FrameQA,ActivityNet-QAなど,いくつかのベンチマークにおいて,ゼロショットビデオ理解(ZSVU)におけるResNetVLLMの最先端性能が得られた。

関連論文リスト

• TS-LLaVA: Constructing Visual Tokens through Thumbnail-and-Sampling for Training-Free Video Large Language Models [52.590072198551944]
  近年の多モーダル言語モデル(LLM)の進歩は,多モーダルな内容を理解する上で大きな成功を収めている。 ビデオ理解タスクでは、高品質でキュレートされたビデオテキストペアリングデータの不足により、トレーニングベースのビデオLLMの構築が困難である。 本研究では,トレーニングフリーのビデオ LLM 構築における既存の圧縮戦略の限界について検討する。
  論文  参考訳（メタデータ） (2024-11-17T13:08:29Z)
• PerspectiveNet: Multi-View Perception for Dynamic Scene Understanding [1.2781698000674653]
  PerspectiveNetは、複数のカメラビューにわたる長い記述を生成するための軽量モデルである。 提案手法では,視覚エンコーダ,コンパクトコネクタモジュール,および大規模言語モデルを用いる。 結果として得られるモデルは軽量で、効率的なトレーニングと推論を確実にします。
  論文  参考訳（メタデータ） (2024-10-22T08:57:17Z)
• VURF: A General-purpose Reasoning and Self-refinement Framework for Video Understanding [65.12464615430036]
  本稿では,Large Language Models (LLM) の推論能力に基づくビデオ理解・推論フレームワーク (VURF) を提案する。 ビデオタスクのコンテキストにおいてLLMの実用性を拡張し,最小限のインプットとアウトプットのデモをコンテキストフレームワーク内で一般化する,新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:00:00Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• E-ViLM: Efficient Video-Language Model via Masked Video Modeling with Semantic Vector-Quantized Tokenizer [5.7254320553764]
  E-ViLMはビデオ言語コーパスから表現表現を学習し、広範なビデオ言語タスクにうまく一般化することができる。 我々のモデルはMSRVTTベンチマークで399.3ドル%トップ1ドル精度に達し、最先端の大規模VLアーキテクチャの精度の91.4ドル%を維持している。
  論文  参考訳（メタデータ） (2023-11-28T22:57:17Z)
• LAVENDER: Unifying Video-Language Understanding as Masked Language Modeling [102.42424022921243]
  Masked Language Modeling (MLM) は、すべての事前学習および下流タスクの共通インターフェースとして使用される。 実験により、この統合フレームワークは14のVidLベンチマークで競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-14T20:43:25Z)
• LiVLR: A Lightweight Visual-Linguistic Reasoning Framework for Video Question Answering [50.11756459499762]
  軽量な視覚言語推論フレームワークLiVLRを提案する。 LiVLRは、まず、グラフベースの視覚と言語のアブリケーションを使用して、多義的な視覚と言語表現を得る。 提案したLiVLRは軽量で、2つのVideoQAベンチマークでパフォーマンス上の優位性を示す。
  論文  参考訳（メタデータ） (2021-11-29T14:18:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。