Fugu-MT 論文翻訳(概要): WorldGPT: Empowering LLM as Multimodal World Model

論文の概要: WorldGPT: Empowering LLM as Multimodal World Model

arxiv url: http://arxiv.org/abs/2404.18202v2
Date: Sat, 28 Sep 2024 17:00:44 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-01 21:59:13.230740
Title: WorldGPT: Empowering LLM as Multimodal World Model
Title（参考訳）: WorldGPT:マルチモーダルワールドモデルとしてのLLM
Authors: Zhiqi Ge, Hongzhe Huang, Mingze Zhou, Juncheng Li, Guoming Wang, Siliang Tang, Yueting Zhuang,
Abstract要約: MLLM(Multimodal Large Language Model)に基づく汎用世界モデルWorldGPTを紹介する。 WorldGPTは、さまざまなドメインにまたがる数百万のビデオを分析して、世界ダイナミクスの理解を得る。マルチモーダル状態遷移予測ベンチマークWorldNetの評価を行う。
参考スコア（独自算出の注目度）: 51.243464216500975
License:
Abstract: World models are progressively being employed across diverse fields, extending from basic environment simulation to complex scenario construction. However, existing models are mainly trained on domain-specific states and actions, and confined to single-modality state representations. In this paper, We introduce WorldGPT, a generalist world model built upon Multimodal Large Language Model (MLLM). WorldGPT acquires an understanding of world dynamics through analyzing millions of videos across various domains. To further enhance WorldGPT's capability in specialized scenarios and long-term tasks, we have integrated it with a novel cognitive architecture that combines memory offloading, knowledge retrieval, and context reflection. As for evaluation, we build WorldNet, a multimodal state transition prediction benchmark encompassing varied real-life scenarios. Conducting evaluations on WorldNet directly demonstrates WorldGPT's capability to accurately model state transition patterns, affirming its effectiveness in understanding and predicting the dynamics of complex scenarios. We further explore WorldGPT's emerging potential in serving as a world simulator, helping multimodal agents generalize to unfamiliar domains through efficiently synthesising multimodal instruction instances which are proved to be as reliable as authentic data for fine-tuning purposes. The project is available on \url{https://github.com/DCDmllm/WorldGPT}.
Abstract（参考訳）: 世界モデルは、基本的な環境シミュレーションから複雑なシナリオ構築まで、様々な分野に徐々に採用されている。しかし、既存のモデルは、主にドメイン固有の状態とアクションに基づいて訓練されており、単一のモダリティ状態表現に限定されている。本稿では,MLLM(Multimodal Large Language Model)に基づく汎用的世界モデルであるWorldGPTを紹介する。 WorldGPTは、さまざまなドメインにまたがる数百万のビデオを分析して、世界ダイナミクスの理解を得る。特殊シナリオと長期タスクにおけるWorldGPTの機能をさらに強化するため、メモリオフロード、知識検索、コンテキストリフレクションを組み合わせた新しい認知アーキテクチャと統合した。評価では,様々な実生活シナリオを含むマルチモーダル状態遷移予測ベンチマークであるWorldNetを構築した。 WorldNet上での評価を実行することで、WorldGPTは状態遷移パターンを正確にモデル化し、複雑なシナリオのダイナミクスを理解し予測する上での有効性を実証することができる。我々はさらに、WorldGPTが世界シミュレーターとして機能することの新たな可能性を探り、マルチモーダルエージェントが、微調整目的の認証データと同じくらい信頼性の高いマルチモーダル命令インスタンスを効率的に合成することで、不慣れなドメインに一般化するのを助ける。このプロジェクトは \url{https://github.com/DCDmllm/WorldGPT} で入手できる。

関連論文リスト

One-shot World Models Using a Transformer Trained on a Synthetic Prior [37.027893127637036]
ワンショット世界モデル(英: One-Shot World Model、OSWM)は、純粋に合成データからコンテキスト内学習形式で学習されるトランスフォーマー世界モデルである。 OSWMは、シンプルなグリッド世界のダイナミクスや、CartPoleのジム、カスタムコントロール環境に迅速に適応できる。
論文参考訳（メタデータ） (2024-09-21T09:39:32Z)
Making Large Language Models into World Models with Precondition and Effect Knowledge [1.8561812622368763]
本研究では,Large Language Models (LLM) を2つの重要な世界モデル関数の実行に利用することができることを示す。我々は、我々のモデルが生み出す前提条件と効果知識が、世界力学の人間の理解と一致していることを検証する。
論文参考訳（メタデータ） (2024-09-18T19:28:04Z)
A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
論文参考訳（メタデータ） (2024-08-26T17:59:01Z)
LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文参考訳（メタデータ） (2024-06-24T03:36:29Z)
GroundingGPT:Language Enhanced Multi-modal Grounding Model [15.44099961048236]
言語拡張型マルチモーダルグラウンドモデルである GroundingGPT を提案する。提案モデルでは,入力中の局所情報の詳細な理解を求めるタスクを抽出する。ビデオ内の画像や瞬間における特定の領域の正確な識別と位置決定を示す。
論文参考訳（メタデータ） (2024-01-11T17:41:57Z)
Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
論文参考訳（メタデータ） (2023-05-29T14:29:12Z)
PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
論文参考訳（メタデータ） (2023-03-06T18:58:06Z)
Deep Multimodal Fusion for Generalizable Person Re-identification [15.250738959921872]
DMF(ディープ・マルチモーダル・フュージョン)は、個人再識別タスクの一般的なシナリオのためのディープ・マルチモーダル・フュージョン・ネットワークである。事前学習段階における特徴表現学習を支援するために、リッチな意味知識が導入される。実世界の分散アライメントのための事前訓練されたモデルを微調整するために、現実的なデータセットが採用されている。
論文参考訳（メタデータ） (2022-11-02T07:42:48Z)
DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。