論文の概要: DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language
Models
- arxiv url: http://arxiv.org/abs/2401.08392v1
- Date: Tue, 16 Jan 2024 14:33:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 13:47:32.838543
- Title: DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language
Models
- Title(参考訳): doraemongpt: 大規模言語モデルによる動的シーンの理解に向けて
- Authors: Zongxin Yang, Guikun Chen, Xiaodi Li, Wenguan Wang, Yi Yang
- Abstract要約: DoraemonGPTは、大規模言語モデル(LLM)によって駆動される、動的ビデオタスクを処理する包括的なシステムである。
DoraemonGPTは、質問/タスクのあるビデオが与えられたら、入力されたビデオを大量のコンテンツで変換し、シンボリックメモリに変換して、textittask関連の属性を格納する。
特殊なドメインに関しては,LLMには内部知識が限られていることを認識し,外部知識を評価し,異なるドメインにわたるタスクに対処するためのプラグイン・アンド・プレイ・ツールが組み込まれている。
- 参考スコア(独自算出の注目度): 78.43468551763303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of AI agents is advancing at an unprecedented rate due to the
capabilities of large language models (LLMs). However, LLM-driven visual agents
mainly focus on solving tasks for the image modality, which limits their
ability to understand the dynamic nature of the real world, making it still far
from real-life applications, e.g., guiding students in laboratory experiments
and identifying their mistakes. Considering the video modality better reflects
the ever-changing and perceptually intensive nature of real-world scenarios, we
devise DoraemonGPT, a comprehensive and conceptually elegant system driven by
LLMs to handle dynamic video tasks. Given a video with a question/task,
DoraemonGPT begins by converting the input video with massive content into a
symbolic memory that stores \textit{task-related} attributes. This structured
representation allows for spatial-temporal querying and reasoning by sub-task
tools, resulting in concise and relevant intermediate results. Recognizing that
LLMs have limited internal knowledge when it comes to specialized domains
(e.g., analyzing the scientific principles underlying experiments), we
incorporate plug-and-play tools to assess external knowledge and address tasks
across different domains. Moreover, we introduce a novel LLM-driven planner
based on Monte Carlo Tree Search to efficiently explore the large planning
space for scheduling various tools. The planner iteratively finds feasible
solutions by backpropagating the result's reward, and multiple solutions can be
summarized into an improved final answer. We extensively evaluate DoraemonGPT
in dynamic scenes and provide in-the-wild showcases demonstrating its ability
to handle more complex questions than previous studies.
- Abstract(参考訳): AIエージェントの分野は、大きな言語モデル(LLM)の能力のため、前例のない速度で進んでいる。
しかし、LLM駆動の視覚エージェントは主に画像モダリティの課題の解決に重点を置いており、現実世界のダイナミックな性質を理解する能力を制限する。
ビデオモダリティが現実世界のシナリオの絶え間なく変化し、知覚的に集約的な性質を反映していることを考えると、doraemongptはllmによって駆動される包括的かつ概念的にエレガントなシステムで、ダイナミックなビデオタスクを処理する。
質問/タスクのあるビデオの場合、DoraemonGPTは入力されたビデオを大量のコンテンツで変換して、 \textit{task-related}属性を格納するシンボリックメモリに変換する。
この構造化表現は、サブタスクツールによる時空間クエリと推論を可能にし、簡潔で関連する中間結果をもたらす。
特殊なドメイン(実験の基礎となる科学原理の分析など)に関して、LLMには内部知識が限られていることを認識し、外部知識を評価し、異なるドメインにわたるタスクに対処するためのプラグアンドプレイツールを組み込む。
さらに,モンテカルロ木探索に基づく新しいLCM型プランナを導入し,多様なツールをスケジューリングするための大規模計画空間を効率的に探索する。
プランナーは、結果の報酬をバックプロパゲートすることで実現可能な解決策を反復的に見つけ、複数のソリューションを改善された最終回答にまとめることができる。
動的シーンにおけるドラエモンGPTを広く評価し,従来の研究よりも複雑な問題を扱う能力を示した。
関連論文リスト
- Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。
しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。
本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
論文 参考訳(メタデータ) (2024-07-05T17:43:30Z) - Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。
本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。
モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
論文 参考訳(メタデータ) (2024-06-24T17:59:42Z) - Investigating Video Reasoning Capability of Large Language Models with Tropes in Movies [69.28082193942991]
本稿では、これまで見過ごされていた2つの重要なビデオ推論スキルを探索するためのテストベッドとして設計された、新しいデータセットであるTropes in Movies (TiM)を紹介する。
映画ストーリーテリングのトポロジを利用して、TiMは最先端のLCMベースのアプローチの推論能力を評価する。
これらの欠陥に対処するために、FEVoRI(Face-Enhanced Viper of Role Interactions)とConQueR(Context Query Reduction)を提案する。
論文 参考訳(メタデータ) (2024-06-16T12:58:31Z) - Video Understanding with Large Language Models: A Survey [97.29126722004949]
言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。
Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。
本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
論文 参考訳(メタデータ) (2023-12-29T01:56:17Z) - VCoder: Versatile Vision Encoders for Multimodal Large Language Models [46.95488342139727]
MLLM(Multimodal Large Language Models)は近年,視覚言語タスクにおける優れたパフォーマンスを実現している。
しかし、ある画像内のエンティティを識別またはカウントするよう促された場合、既存のMLLMシステムは失敗する。
We propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs。
論文 参考訳(メタデータ) (2023-12-21T18:49:47Z) - Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。
QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。
我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
論文 参考訳(メタデータ) (2023-12-04T03:18:51Z) - Frozen Transformers in Language Models Are Effective Visual Encoder Layers [26.759544759745648]
大きな言語モデル(LLM)は、言語がないときに純粋に視覚的なタスクに対して驚くほど強力なエンコーダである。
我々の研究は、コンピュータビジョンタスクにLLMを活用することの限界を推し進めている。
視覚符号化における事前学習LLMの有効性を説明するために,情報フィルタリング仮説を提案する。
論文 参考訳(メタデータ) (2023-10-19T17:59:05Z) - VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。
InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
論文 参考訳(メタデータ) (2023-10-16T17:05:56Z) - Look, Remember and Reason: Grounded reasoning in videos with language
models [5.3445140425713245]
マルチテンポラル言語モデル(LM)は、最近ビデオ上の高レベル推論タスクにおいて有望な性能を示した。
オブジェクト検出,再識別,追跡など,低レベルなサロゲートタスクに対するLMエンドツーエンドのトレーニングを提案し,低レベルな視覚能力を備えたモデルを実現する。
我々は、ACRE、CATER、Some-Else、STARデータセットからの多様な視覚的推論タスクにおけるフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-06-30T16:31:14Z) - AssistGPT: A General Multi-modal Assistant that can Plan, Execute,
Inspect, and Learn [25.510696745075688]
我々は、Plan、Execute、Inspect、Learningと呼ばれるインターリーブコードと言語推論アプローチを備えたマルチモーダルAIアシスタントAssistGPTを提案する。
Plannerは自然言語を使ってExecutorで次にすべきツールを計画することができる。
我々は, A-OKVQA と NExT-QA のベンチマーク実験を行い, 最先端の結果を得た。
論文 参考訳(メタデータ) (2023-06-14T17:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。