論文の概要: WorldCast: Exploring Intelligent Visual Generation in World State Prediction
- arxiv url: http://arxiv.org/abs/2610.20731v1
- Date: Wed, 14 Oct 2026 18:00:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.001413
- Title: WorldCast: Exploring Intelligent Visual Generation in World State Prediction
- Title（参考訳）: WorldCast: インテリジェントなビジュアルジェネレーションによる世界予測
- Abstract要約: モデル機能を4段階の階層に整理し、モデル進行にもかかわらず、上位レベルのタスクが比較的過小評価されていることを発見する。
8つのカテゴリにまたがって320のケースを手作業で設計したベンチマークであるWorldCastを導入し、12の代表的なモデルを評価する。
実験により、フロンティアモデルの進歩は、知的世界モデリングの境界を急速に推し進めている。
- 参考スコア（独自算出の注目度）: 35.95151889435355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans interpret multimodal observations of the world and forecast how it will evolve. Recent multimodal generative systems have demonstrated similar capabilities: they can integrate multimodal context and synthesize visual outputs that depict changes in the world. To characterize this emerging trajectory, we organize model capabilities into a four-level hierarchy and discover that higher-level tasks remain relatively underexplored despite model progress. To bridge this gap, we explore model performance on multi-step world state prediction, a high-level task that requires models to forecast successive future world states from multimodal observations and diverse references. Such a task requires models to possess entangled understanding and generation capabilities, as well as extensive world knowledge to translate human action sequences, physical transformations, and abstract visual reasoning into coherent visual outputs. We introduce WorldCast, a benchmark comprising 320 manually designed cases across eight categories, and evaluate 12 representative models. The conducted experiments yield three key insights: (a) advances in frontier models are rapidly pushing the boundaries of intelligent world modeling, with the GPT-Image-2.5 System scoring 72.8 and demonstrating early-stage visual state prediction capabilities on real-world tasks; (b) WorldCast reveals substantial gaps between models: even Nano Banana Pro reaches only 42.8 and the best open-source model scores 20.1, with deficits in handling complex context, entangled references, and reasoning-heavy tasks; (c) strong generative models effectively draw on the capabilities of their underlying language models. These findings highlight the need for multimodal generative models that are capable of dynamic planning and reasoning while also being deeply unified to faithfully simulate real-world states.
- Abstract（参考訳）: 人間は世界のマルチモーダルな観察を解釈し、それがどのように進化するかを予測する。
近年のマルチモーダル生成システムは、マルチモーダルコンテキストを統合し、世界の変化を表現した視覚出力を合成できる。
この新たな軌道を特徴付けるために、モデル能力を4段階の階層に整理し、モデル進行にもかかわらず、上位のタスクが比較的過小評価されていることを発見する。
このギャップを埋めるために、我々は多段階の世界状態予測(多段階世界状態予測)のモデル性能について検討する。
このようなタスクには、絡み合った理解と生成能力を持つモデルと、人間のアクションシーケンス、物理的な変換、抽象的な視覚的推論をコヒーレントな視覚的出力に変換するための広範な世界知識が必要である。
8つのカテゴリにまたがって320のケースを手作業で設計したベンチマークであるWorldCastを導入し、12の代表的なモデルを評価する。
実験は3つの重要な洞察を得た。
(a)フロンティアモデルの進歩は知的世界モデリングの境界を急速に押し上げ、GPT-Image-2.5システムは72.8点を獲得し、現実世界のタスクにおける早期の視覚状態予測能力を実証している。
b) WorldCastは,モデル間の大きなギャップを明らかにしている。Nano Banana Proでさえ42.8に達し,最高のオープンソースモデルスコア20.1に達している。
(c)強力な生成モデルは、その基盤となる言語モデルの能力を効果的に引き出す。
これらの知見は、動的計画と推論が可能なマルチモーダル生成モデルの必要性を強調しながら、現実の状態を忠実にシミュレートするために深く統一されている。
関連論文リスト
- WorldBagel: Uncovering the Power of Unified Multimodal Models for Vision-Language-Action-World Modeling [53.14409745466386]
世界モデルは、知覚、推論、行動をサポートする方法で環境力学を捉えることを目的としている。
我々は,現代のマルチモーダル統一モデルであるBAGEL上に構築された統一VLAWフレームワークであるtextttWorldBagelを紹介した。
textttWorldBagelは、タスク固有の代替品を一貫して上回り、より構造化され、視覚的および言語的コンテキストにセマンティックに整合したアクション表現を学ぶ。
論文 参考訳（メタデータ） (2026-07-03T16:18:20Z) - DriveDreamer-Policy: A Geometry-Grounded World-Action Model for Unified Generation and Planning [44.543763428623976]
DriveDreamer-Policyは、深度生成、将来のビデオ生成、モーションプランニングを統合した統合運転ワールドアクションモデルである。
提案したモデルは、モジュラリティと遅延制御性を維持しながら、より一貫性のある未来とより情報のある駆動動作を生成する。
論文 参考訳（メタデータ） (2026-04-02T08:33:18Z) - Beyond Language Modeling: An Exploration of Multimodal Pretraining [125.34714978184638]
我々は、制御されたオフスクラッチ事前学習実験を通して経験的明瞭度を提供する。
我々はトランスフュージョン・フレームワークを採用し、言語と視覚の拡散を次々に予測する。
我々は、MoEアーキテクチャが、言語によって要求される高いモデル容量を提供することにより、このスケーリング非対称性を調和させることを実証する。
論文 参考訳（メタデータ） (2026-03-03T18:58:00Z) - UniG2U-Bench: Do Unified Models Advance Multimodal Understanding? [50.92401586025528]
統一マルチモーダルモデルは、最近強力な生成能力を示したが、生成が理解を改善したかどうかはまだ不明である。
提案するUniG2U-Benchは,G2U(Generation-to-understanding)評価を7つのシステマと30のサブタスクに分類する総合ベンチマークである。
論文 参考訳（メタデータ） (2026-03-03T18:36:16Z) - Visual Generation Unlocks Human-Like Reasoning through Multimodal World Models [60.543714835980325]
人間は、これらのモデル内の概念を操作することによって、内的世界モデルと理性を構築する。
近年のAIの進歩は、世界モデルが大きな言語モデルに埋め込まれていると信じられている人間の認知能力に近似している。
本稿では,視覚生成が推論にどのような効果をもたらすかについて,最初の原理的考察を行った。
論文 参考訳（メタデータ） (2026-01-27T17:40:07Z) - Can World Models Benefit VLMs for World Dynamics? [59.73433292793044]
本研究では,世界モデル先行モデルがビジョンランゲージモデルに移行した場合の能力について検討する。
最高の性能を持つDynamic Vision Aligner (DyVA) と名付けます。
DyVAはオープンソースとプロプライエタリの両方のベースラインを超え、最先端または同等のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2025-10-01T13:07:05Z) - Do Vision-Language Models Have Internal World Models? Towards an Atomic Evaluation [54.3628937181904]
内部世界モデル(英語版)(WM)は、エージェントが世界の状態を理解し、遷移を予測することを可能にする。
近年,OpenAI o3, GPT-4o, Geminiなどの大規模視覚言語モデル(VLM)は汎用的なWMとしての可能性を示している。
論文 参考訳（メタデータ） (2025-06-27T03:24:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。