Fugu-MT 論文翻訳(概要): Elysium: Exploring Object-level Perception in Videos via MLLM

論文の概要: Elysium: Exploring Object-level Perception in Videos via MLLM

arxiv url: http://arxiv.org/abs/2403.16558v2
Date: Fri, 29 Mar 2024 05:12:45 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 11:08:03.411772
Title: Elysium: Exploring Object-level Perception in Videos via MLLM
Title（参考訳）: Elysium:MLLMによるビデオのオブジェクトレベルの知覚の探索
Authors: Han Wang, Yanjie Wang, Yongjie Ye, Yuxiang Nie, Can Huang,
Abstract要約: 本稿では,ビデオにおけるオブジェクトレベルのタスクを,追加のプラグインやエキスパートモデルを必要としないエンドツーエンドのトレーニング可能なMLLMを提案する。 Elysium: MLLMを通じてビデオのオブジェクトレベルの知覚を探索する MLLMは、追加のプラグインやエキスパートモデルを必要としない、ビデオ内でオブジェクトレベルのタスクを実行しようとするエンドツーエンドのトレーニング可能なMLLMです。
参考スコア（独自算出の注目度）: 11.02937968639935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multi-modal Large Language Models (MLLMs) have demonstrated their ability to perceive objects in still images, but their application in video-related tasks, such as object tracking, remains understudied. This lack of exploration is primarily due to two key challenges. Firstly, extensive pretraining on large-scale video datasets is required to equip MLLMs with the capability to perceive objects across multiple frames and understand inter-frame relationships. Secondly, processing a large number of frames within the context window of Large Language Models (LLMs) can impose a significant computational burden. To address the first challenge, we introduce ElysiumTrack-1M, a large-scale video dataset supported for three tasks: Single Object Tracking (SOT), Referring Single Object Tracking (RSOT), and Video Referring Expression Generation (Video-REG). ElysiumTrack-1M contains 1.27 million annotated video frames with corresponding object boxes and descriptions. Leveraging this dataset, we conduct training of MLLMs and propose a token-compression model T-Selector to tackle the second challenge. Our proposed approach, Elysium: Exploring Object-level Perception in Videos via MLLM, is an end-to-end trainable MLLM that attempts to conduct object-level tasks in videos without requiring any additional plug-in or expert models. All codes and datasets are available at https://github.com/Hon-Wong/Elysium.
Abstract（参考訳）: MLLM(Multi-modal Large Language Models)は、静止画像中のオブジェクトを知覚する能力を示したが、オブジェクト追跡などのビデオ関連タスクへの応用はまだ検討されていない。この探索の欠如は、主に2つの主要な課題に起因する。第一に、大規模なビデオデータセットに対する広範な事前トレーニングは、MLLMに複数のフレームにわたるオブジェクトを知覚し、フレーム間の関係を理解する能力を持たせるために必要である。第二に、LLM(Large Language Models)のコンテキストウィンドウ内で多数のフレームを処理することは、かなりの計算負担を負う可能性がある。最初の課題に対処するために、ElysiumTrack-1Mという、SOT(Single Object Tracking)、RSOT(Referring Single Object Tracking)、Video Referring Expression Generation(Video-REG)の3つのタスクをサポートする大規模なビデオデータセットを紹介した。 ElysiumTrack-1Mは127万の注釈付きビデオフレームと対応するオブジェクトボックスと記述を含んでいる。このデータセットを活用することで,MLLMのトレーニングを行い,トークン圧縮モデルTセレクタを提案する。提案手法であるElysium: Exploring Object-level Perception in Videos via MLLMは,追加のプラグインやエキスパートモデルを必要としない,エンドツーエンドのトレーニング可能なMLLMである。すべてのコードとデータセットはhttps://github.com/Hon-Wong/Elysiumで公開されている。

関連論文リスト

VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos [58.765796160750504]
VideoGLaMMは、ユーザが提供するテキスト入力に基づいて、ビデオの細かいピクセルレベルのグラウンド化を行うための新しいモデルである。このアーキテクチャは、ビデオコンテンツの空間的要素と時間的要素の両方をテキスト命令と同期させるよう訓練されている。実験の結果、我々のモデルは3つのタスクすべてで既存のアプローチより一貫して優れています。
論文参考訳（メタデータ） (2024-11-07T17:59:27Z)
MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
論文参考訳（メタデータ） (2024-10-16T07:52:57Z)
DLM-VMTL:A Double Layer Mapper for heterogeneous data video Multi-task prompt learning [2.4121373594852846]
マルチタスク学習は、視覚的なタスクが、共同トレーニング中に他のタスクから豊富な共有可能な知識を取得するようにする。上記の問題に対処するために, Heterogenous data video multi-task prompt learning (VMTL) 法を提案する。 Double-Layers Mapper(DLM)は、共有可能な知識を視覚的プロンプトSに抽出し、プライマリタスクの表現と整合させる。
論文参考訳（メタデータ） (2024-08-29T01:25:36Z)
VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
論文参考訳（メタデータ） (2024-06-12T16:44:50Z)
Video Understanding with Large Language Models: A Survey [97.29126722004949]
言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
論文参考訳（メタデータ） (2023-12-29T01:56:17Z)
InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
マルチモーダルな大言語モデル (MLLM) が注目されている。この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-11-12T09:58:16Z)
Look, Remember and Reason: Grounded reasoning in videos with language models [5.3445140425713245]
マルチテンポラル言語モデル(LM)は、最近ビデオ上の高レベル推論タスクにおいて有望な性能を示した。オブジェクト検出,再識別,追跡など,低レベルなサロゲートタスクに対するLMエンドツーエンドのトレーニングを提案し,低レベルな視覚能力を備えたモデルを実現する。我々は、ACRE、CATER、Some-Else、STARデータセットからの多様な視覚的推論タスクにおけるフレームワークの有効性を実証する。
論文参考訳（メタデータ） (2023-06-30T16:31:14Z)
Retrieving-to-Answer: Zero-Shot Video Question Answering with Frozen Large Language Models [69.59125732317972]
本稿では,ビデオQAのためのシンプルで効果的な検索・回答(R2A)フレームワークを提案する。 R2Aは、まず、事前訓練されたマルチモーダルモデルを用いて、ジェネリックテキストコーパスから意味論的に類似したテキストの集合を検索する。質問と検索されたテキストの両方で、LSMを直接使用して、望ましい回答を得ることができる。
論文参考訳（メタデータ） (2023-06-15T20:56:20Z)
Rethinking Cross-modal Interaction from a Top-down Perspective for Referring Video Object Segmentation [140.4291169276062]
ビデオオブジェクトセグメンテーション(RVOS)は、ビデオオブジェクトを自然言語参照のガイダンスでセグメント化することを目的としている。以前の手法では、画像格子上の言語参照を直接グラウンド化することで、RVOSに対処するのが一般的であった。そこで本研究では,複数のサンプルフレームから検出されたオブジェクトマスクをビデオ全体へ伝播させることにより,オブジェクトトラッカーの徹底的なセットを構築した。次に,Transformerベースのトラックレット言語基底モジュールを提案し,インスタンスレベルの視覚的関係とモーダル間相互作用を同時に,効率的にモデル化する。
論文参考訳（メタデータ） (2021-06-02T10:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。