論文の概要: EVA: An Embodied World Model for Future Video Anticipation

• arxiv url: http://arxiv.org/abs/2410.15461v1
• Date: Sun, 20 Oct 2024 18:24:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:16:06.784522
• Title: EVA: An Embodied World Model for Future Video Anticipation
• Title（参考訳）: EVA:未来のビデオ予測のための身体的世界モデル
• Authors: Xiaowei Chi, Hengyuan Zhang, Chun-Kai Fan, Xingqun Qi, Rongyu Zhang, Anthony Chen, Chi-min Chan, Wei Xue, Wenhan Luo, Shanghang Zhang, Yike Guo,
• Abstract要約: 複雑なビデオ予測を4つのメタタスクに分解し、世界モデルがこの問題をよりきめ細かな方法で処理できるようにする。 本稿では,Embodied Video Precipation Benchmark (EVA-Bench) という新しいベンチマークを導入する。 本稿では,映像理解と生成を目的とした統合フレームワークであるEmbodied Video Precipator (EVA)を提案する。
• 参考スコア（独自算出の注目度）: 42.937348053592636
• License:
• Abstract: World models integrate raw data from various modalities, such as images and language to simulate comprehensive interactions in the world, thereby displaying crucial roles in fields like mixed reality and robotics. Yet, applying the world model for accurate video prediction is quite challenging due to the complex and dynamic intentions of the various scenes in practice. In this paper, inspired by the human rethinking process, we decompose the complex video prediction into four meta-tasks that enable the world model to handle this issue in a more fine-grained manner. Alongside these tasks, we introduce a new benchmark named Embodied Video Anticipation Benchmark (EVA-Bench) to provide a well-rounded evaluation. EVA-Bench focused on evaluating the video prediction ability of human and robot actions, presenting significant challenges for both the language model and the generation model. Targeting embodied video prediction, we propose the Embodied Video Anticipator (EVA), a unified framework aiming at video understanding and generation. EVA integrates a video generation model with a visual language model, effectively combining reasoning capabilities with high-quality generation. Moreover, to enhance the generalization of our framework, we tailor-designed a multi-stage pretraining paradigm that adaptatively ensembles LoRA to produce high-fidelity results. Extensive experiments on EVA-Bench highlight the potential of EVA to significantly improve performance in embodied scenes, paving the way for large-scale pre-trained models in real-world prediction tasks.
• Abstract（参考訳）: 世界モデルは、画像や言語などの様々なモダリティの生データを統合して、世界の包括的な相互作用をシミュレートし、混合現実やロボット工学のような分野において重要な役割を担っている。 しかし、実際の様々なシーンの複雑な動的意図のため、正確な映像予測に世界モデルを適用することは極めて困難である。 本稿では,人間の再考プロセスに触発されて,複雑な映像予測を4つのメタタスクに分解し,世界モデルによるこの問題のよりきめ細かい処理を可能にする。 これらのタスクに加えて、Embodied Video Precipation Benchmark (EVA-Bench) という新しいベンチマークを導入し、より周知な評価を提供する。 EVA-Benchは、人間とロボットのアクションのビデオ予測能力を評価し、言語モデルと生成モデルの両方に重大な課題を提示した。 本稿では,映像理解と生成を目的とした統合フレームワークであるEmbodied Videocipcipator (EVA)を提案する。 EVAはビデオ生成モデルを視覚言語モデルに統合し、推論能力と高品質な生成を効果的に組み合わせる。 さらに,フレームワークの一般化を促進するために,LoRAを適応的に組み込んだ多段階事前学習パラダイムを設計した。 EVA-Benchの大規模な実験は、実世界の予測タスクにおける大規模な事前学習モデルへの道を開くことで、EVAがエンボディされたシーンのパフォーマンスを大幅に改善する可能性を強調している。

関連論文リスト

• WorldSimBench: Towards Video Generation Models as World Simulators [79.69709361730865]
  我々は、予測モデルの機能を階層に分類し、WorldSimBenchと呼ばれる2つの評価フレームワークを提案することにより、World Simulatorの評価の第一歩を踏み出す。 WorldSimBenchにはExplicit Perceptual EvaluationとImplicit Manipulative Evaluationが含まれている。 我々の総合的な評価は、ビデオ生成モデルのさらなる革新を促進する重要な洞察を与え、World Simulatorsをエンボディされた人工知能への重要な進歩と位置づけている。
  論文  参考訳（メタデータ） (2024-10-23T17:56:11Z)
• DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
  私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。 私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
  論文  参考訳（メタデータ） (2024-10-14T17:19:23Z)
• iVideoGPT: Interactive VideoGPTs are Scalable World Models [70.02290687442624]
  世界モデルは、現実の意思決定のために想像された環境の中で、モデルベースのエージェントを対話的に探索し、推論し、計画することを可能にする。 マルチモーダルな信号 – 視覚的観察,アクション,報酬 – を統合した,スケーラブルな自己回帰型トランスフォーマーフレームワークであるInteractive VideoGPTを導入する。 iVideoGPTは、高次元の視覚的観察を効率的に識別する新しい圧縮トークン化技術を備えている。
  論文  参考訳（メタデータ） (2024-05-24T05:29:12Z)
• SalFoM: Dynamic Saliency Prediction with Video Foundation Models [37.25208752620703]
  ビデオサリエンシ予測(VSP)は人間の視覚システムと比較して有望な性能を示した。 本稿では,新しいエンコーダデコーダビデオトランスアーキテクチャであるSalFoMを紹介する。 本モデルはUnMasked Teacher(UMT)抽出器を使用し,異種デコーダを意識した時間変換器を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:38:54Z)
• Veagle: Advancements in Multimodal Representation Learning [0.0]
  本稿では,既存モデルのマルチモーダル能力を向上するための新しいアプローチを提案する。 提案したモデルであるVeagleは、以前の作品の成功と洞察にインスパイアされたユニークなメカニズムを取り入れています。 以上の結果から,Veagleは既存のモデルよりも優れた性能を示し,性能は5-6%向上した。
  論文  参考訳（メタデータ） (2024-01-18T12:45:25Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)
• A Control-Centric Benchmark for Video Prediction [69.22614362800692]
  本稿では,アクション条件付きビデオ予測のベンチマークを,制御ベンチマークの形式で提案する。 私たちのベンチマークには、11のタスクカテゴリと310のタスクインスタンス定義を備えたシミュレーション環境が含まれています。 次に、ベンチマークを活用して、スケールするモデルサイズ、トレーニングデータの量、モデルアンサンブルの影響を調査します。
  論文  参考訳（メタデータ） (2023-04-26T17:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。