論文の概要: HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds
- arxiv url: http://arxiv.org/abs/2604.14268v1
- Date: Wed, 15 Apr 2026 17:59:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:29.960962
- Title: HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds
- Title（参考訳）: HY-World 2.0: 3Dワールドの再構成、生成、シミュレーションのためのマルチモーダルワールドモデル
- Abstract要約: HY-World 2.0は、私たちの以前のプロジェクトHYWorld 1.0を前進させるマルチモーダルな世界モデルフレームワークです。
我々はパノラマの忠実性を高め、3Dシーンの理解と計画を可能にし、WorldStereoをアップグレードするための重要なイノベーションを紹介します。
また、フレキシブルなエンジン非依存アーキテクチャを備えた高性能な3DGSレンダリングプラットフォームであるWorldLensを紹介する。
- 参考スコア（独自算出の注目度）: 50.80574129942699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce HY-World 2.0, a multi-modal world model framework that advances our prior project HY-World 1.0. HY-World 2.0 accommodates diverse input modalities, including text prompts, single-view images, multi-view images, and videos, and produces 3D world representations. With text or single-view image inputs, the model performs world generation, synthesizing high-fidelity, navigable 3D Gaussian Splatting (3DGS) scenes. This is achieved through a four-stage method: a) Panorama Generation with HY-Pano 2.0, b) Trajectory Planning with WorldNav, c) World Expansion with WorldStereo 2.0, and d) World Composition with WorldMirror 2.0. Specifically, we introduce key innovations to enhance panorama fidelity, enable 3D scene understanding and planning, and upgrade WorldStereo, our keyframe-based view generation model with consistent memory. We also upgrade WorldMirror, a feed-forward model for universal 3D prediction, by refining model architecture and learning strategy, enabling world reconstruction from multi-view images or videos. Also, we introduce WorldLens, a high-performance 3DGS rendering platform featuring a flexible engine-agnostic architecture, automatic IBL lighting, efficient collision detection, and training-rendering co-design, enabling interactive exploration of 3D worlds with character support. Extensive experiments demonstrate that HY-World 2.0 achieves state-of-the-art performance on several benchmarks among open-source approaches, delivering results comparable to the closed-source model Marble. We release all model weights, code, and technical details to facilitate reproducibility and support further research on 3D world models.
- Abstract（参考訳）: 私たちは、以前のプロジェクトHY-World 1.0を前進させるマルチモーダルワールドモデルフレームワークHY-World 2.0を紹介します。
HY-World 2.0はテキストプロンプト、シングルビュー画像、マルチビュー画像、ビデオを含む多様な入力モダリティに対応し、3Dワールド表現を生成する。
テキストやシングルビューの画像入力によって、高忠実でナビゲート可能な3Dガウススプラッティング(3DGS)シーンを合成し、ワールドジェネレーションを実行する。
これは4段階の方法によって達成される。
a)HY-Pano 2.0によるパノラマ生成
b)WorldNavによる軌道計画
c)WorldStereo 2.0による世界展開及び
d) WorldMirror 2.0によるワールドコンポジション。
具体的には、パノラマの忠実性を向上し、3Dシーンの理解と計画を可能にし、キーフレームベースのビュー生成モデルであるWorldStereoを一貫したメモリでアップグレードする。
また、モデルアーキテクチャと学習戦略を改良し、マルチビュー画像やビデオから世界再構築を可能にすることで、ユニバーサルな3D予測のためのフィードフォワードモデルであるWorldMirrorをアップグレードする。
また、フレキシブルなエンジン非依存アーキテクチャ、自動IBL照明、効率的な衝突検出、トレーニングレンダリング協調設計を備えた高性能な3DGSレンダリングプラットフォームであるWorldLensを導入し、文字サポート付き3Dワールドのインタラクティブな探索を可能にする。
HY-World 2.0は、オープンソースアプローチのいくつかのベンチマークで最先端のパフォーマンスを達成し、クローズドソースモデルであるMarbleに匹敵する結果をもたらすことを実証している。
再現性を促進し、3Dワールドモデルに関するさらなる研究を支援するため、すべてのモデルウェイト、コード、技術的詳細をリリースする。
関連論文リスト
- Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States [106.40454498751295]
Puffin-Worldは、外部のオフラインモジュールに頼ることなく、物理的理解、空間シミュレーション、および3Dワールドジェネレーションと再構築を統合している。
我々のフレームワークは、物理(重力場と緯度)、幾何学(深度)、外見(画像)の3つのネイティブ世界状態を共同でモデル化する。
Puffin-Worldは、現実世界で絶対的なカメラ特性を基盤として、物理的に一貫性があり、視覚的に安定した世界生成を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:59:13Z) - ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space [49.372892542771886]
ABot-3DWorld 0は、テキスト、画像、ビデオの入力を高忠実で探索可能な3D世界に変換する、普遍的なマルチモーダルな3Dワールドモデルである。
論文 参考訳（メタデータ） (2026-07-13T15:14:48Z) - Xiaomi Auto World Model: A Joint World Model Integrating Reconstruction and Generation for Autonomous Driving [51.90209659403234]
本報告では,世界モデルの自律運転における2つのコア機能に対処する統合技術システムを提案する。
世界表現のために,スパースシーンクエリによって駆動されるフィードフォワード再構築アーキテクチャであるWorldRecを提案する。
次世代に向けて,両方向性事前学習のための2段階のトレーニングフレームワークWorldGenを提案し,それに続いて因果微調整を行う。
論文 参考訳（メタデータ） (2026-05-18T09:46:16Z) - WorldAgents: Can Foundation Image Models be Agents for 3D World Models? [82.83725150353915]
2次元モデルが実際に3次元世界の把握をカプセル化していることを実証する。
この理解を生かして,本手法は拡張性,現実性,および3D一貫性のある世界をうまく合成する。
論文 参考訳（メタデータ） (2026-03-20T07:22:41Z) - WorldGen: From Text to Traversable and Interactive 3D Worlds [87.95088818329403]
本稿では,テキストプロンプトから直接,大規模でインタラクティブな3Dワールドを自動生成するシステムWorldGenを紹介する。
我々のアプローチは、自然言語記述を標準のゲームエンジン内で即座に探索または編集できる完全にテクスチャ化された環境に変換する。
この研究は、ゲーム、シミュレーション、没入型社会環境における応用のための3D生成AIのフロンティアを前進させる、アクセス可能で、大規模に生成可能な世界構築への一歩である。
論文 参考訳（メタデータ） (2025-11-20T22:13:18Z) - Terra: Explorable Native 3D World Model with Point Latents [74.90179419859415]
本稿では,本質的な3次元潜伏空間における探索可能な環境を表現・生成する,ネイティブな3次元世界モデルTerraを提案する。
具体的には、3次元入力を潜在点表現に符号化する新しい点対ガウス変分オートエンコーダ(P2G-VAE)を提案する。
次に、潜伏点表現を生成するためのスパース点フローマッチングネットワーク(SPFlow)を導入し、同時に潜伏点の位置と特徴を識別する。
論文 参考訳（メタデータ） (2025-10-16T17:59:56Z) - LatticeWorld: A Multimodal Large Language Model-Empowered Framework for Interactive Complex World Generation [35.4193352348583]
本稿では,3D環境の産業生産パイプラインを効率化する,シンプルで効果的な3Dワールドジェネレーションフレームワークを提案する。
LatticeWorldは、競合するマルチエージェントインタラクションを特徴とする、動的エージェントを備えた大規模な3Dインタラクティブワールドを生成する。
LatticeWorldは90倍以上の工業生産効率の向上を実現している。
論文 参考訳（メタデータ） (2025-09-05T17:22:33Z) - HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels [30.986527559921335]
HunyuanWorld 1.0は、テキストと画像の条件から没入的で探索可能なインタラクティブな3Dシーンを生成するための、両方の世界のベストを組み合わせた、新しいフレームワークである。
提案手法の主な利点は,1)パノラマ世界プロキシによる360度没入体験,2)既存のコンピュータグラフィックスパイプラインとのシームレスな互換性を実現するメッシュエクスポート機能,3)対話性向上のためのオブジェクト表現の非拘束化,の3つである。
論文 参考訳（メタデータ） (2025-07-29T13:43:35Z) - FlexWorld: Progressively Expanding 3D Scenes for Flexiable-View Synthesis [61.78754615822363]
単一イメージからフレキシブルな3Dシーンを生成するためのフレームワークであるFlexWorldを紹介します。
我々のV2Vモデルは、大きなカメラポーズのバリエーションの下で、新しいビューを生成することができる。
その上でFlexWorldは新しい3Dコンテンツを徐々に生成し、グローバルなシーンに統合します。
論文 参考訳（メタデータ） (2025-03-17T15:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。