論文の概要: Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States
- arxiv url: http://arxiv.org/abs/2609.04196v1
- Date: Thu, 03 Sep 2026 17:59:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.201617
- Title: Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States
- Title（参考訳）: Puffin-World: ネイティブな3Dワールドステイトによる統一マルチモーダルモデルのスケーリング
- Abstract要約: Puffin-Worldは、外部のオフラインモジュールに頼ることなく、物理的理解、空間シミュレーション、および3Dワールドジェネレーションと再構築を統合している。
我々のフレームワークは、物理(重力場と緯度)、幾何学(深度)、外見(画像)の3つのネイティブ世界状態を共同でモデル化する。
Puffin-Worldは、現実世界で絶対的なカメラ特性を基盤として、物理的に一貫性があり、視覚的に安定した世界生成を可能にする。
- 参考スコア（独自算出の注目度）: 106.40454498751295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Puffin-World, a unified multimodal architecture that integrates physical understanding, spatial simulation, and 3D world generation and reconstruction without relying on external offline modules. To reliably construct and interact with 3D worlds, our framework jointly models three native world states: physics (gravity field and latitude), geometry (depth), and appearance (image), together with a unified Omni-Camera representation that supports diverse tasks and flexible motions. Beyond modeling these states, we introduce a strategy for propagating physical dynamics across future frames. By grounding absolute camera properties in the real world, Puffin-World enables physically consistent and visually stable world generation. We further couple appearance and geometry within a single generative process, jointly synthesizing each future view and reconstructing its underlying geometry. This unified paradigm enables interleaved closed-loop applications requiring synergy across multiple tasks, including mimic and self-calibrated world exploration. To scale Puffin-World to complex scenarios, we construct Puffin-16M, comprising 15 million vision-language-camera triplets and 1 million trajectories featuring various and challenging motions. To foster further research in this area, we released the code, models, and datasets.
- Abstract（参考訳）: 我々は,外部のオフラインモジュールに頼ることなく,物理理解,空間シミュレーション,3次元世界生成と再構築を統合した統合マルチモーダルアーキテクチャであるPuffin-Worldを提案する。
我々のフレームワークは、3Dの世界を確実に構築し、相互作用するために、物理(重力場と緯度)、幾何学(深度)、外見(画像)の3つのネイティブな状態と、多様なタスクと柔軟な動きをサポートする統一されたOmni-Camera表現を共同でモデル化する。
これらの状態のモデリング以外にも、将来的なフレームをまたいだ物理力学の伝播戦略を導入する。
Puffin-Worldは、現実世界で絶対的なカメラ特性を基盤として、物理的に一貫性があり、視覚的に安定した世界生成を可能にする。
さらに1つの生成過程の中で外観と幾何学を結合し、それぞれの将来の展望を共同で合成し、その基礎となる幾何学を再構築する。
この統一パラダイムは、模倣や自己校正された世界探索を含む複数のタスクにまたがってシナジーを必要とするインターリーブクローズドループアプリケーションを可能にする。
Puffin-Worldを複雑なシナリオに拡張するために、1500万の視覚言語カメラ三脚と100万の軌道からなるPuffin-16Mを構築した。
この分野でさらなる研究を促進するために、コード、モデル、データセットをリリースしました。
関連論文リスト
- PAIWorld: A 3D-Consistent World Foundation Model for Robotic Manipulation [51.385664546670284]
PAIWorldは3つのコアコンポーネントを通じて拡散変圧器の世界モデルを拡張するフレームワークである。
ロボットベンチマークで最先端のマルチビュー3D一貫性を実現し、WorldArenaのリーダーボードで1位、AgiBot-Challenge2026のリーダーボードで2位にランクインした。
論文 参考訳（メタデータ） (2026-06-16T18:23:23Z) - MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。
クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
論文 参考訳（メタデータ） (2026-06-01T18:20:20Z) - HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds [50.80574129942699]
HY-World 2.0は、私たちの以前のプロジェクトHYWorld 1.0を前進させるマルチモーダルな世界モデルフレームワークです。
我々はパノラマの忠実性を高め、3Dシーンの理解と計画を可能にし、WorldStereoをアップグレードするための重要なイノベーションを紹介します。
また、フレキシブルなエンジン非依存アーキテクチャを備えた高性能な3DGSレンダリングプラットフォームであるWorldLensを紹介する。
論文 参考訳（メタデータ） (2026-04-15T17:59:17Z) - Beyond Pixel Histories: World Models with Persistent 3D State [50.4601060508243]
PERSISTは、潜伏した3Dシーンの進化をシミュレートする世界モデルの新たなパラダイムである。
既存の手法に比べて空間記憶,3次元整合性,長期安定性が大幅に向上した。
論文 参考訳（メタデータ） (2026-03-03T19:58:31Z) - DynamicVerse: A Physically-Aware Multimodal Framework for 4D World Modeling [67.95038177144554]
物理スケールでマルチモーダルな4DワールドモデリングフレームワークであるDynamicVerseを紹介した。
我々は視覚、幾何学、マルチモーダルモデルを用いて、メートルスケールの静的幾何、実世界の動的運動、インスタンスレベルのマスク、そして全体論的キャプションを解釈する。
DynamicVerseは、100K以上のビデオと800K以上の注釈付きマスク、インターネットビデオから10M以上のフレームからなる大規模なデータセットを提供する。
論文 参考訳（メタデータ） (2025-12-02T18:24:27Z) - Simulating the Visual World with Artificial Intelligence: A Roadmap [48.64639618440864]
ビデオ生成は、視覚的に魅力的なクリップを生成するものから、インタラクションをサポートし、物理的な可視性を維持する仮想環境を構築するものへとシフトしている。
この調査は、この進化の体系的な概要を提供し、現代のビデオ基盤モデルを2つのコアコンポーネントの組み合わせとして概念化した。
4世代にわたる映像生成の進展を追究し,本質的な物理的妥当性を具現化した映像生成モデルを構築した。
論文 参考訳（メタデータ） (2025-11-11T18:59:50Z) - HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels [30.986527559921335]
HunyuanWorld 1.0は、テキストと画像の条件から没入的で探索可能なインタラクティブな3Dシーンを生成するための、両方の世界のベストを組み合わせた、新しいフレームワークである。
提案手法の主な利点は,1)パノラマ世界プロキシによる360度没入体験,2)既存のコンピュータグラフィックスパイプラインとのシームレスな互換性を実現するメッシュエクスポート機能,3)対話性向上のためのオブジェクト表現の非拘束化,の3つである。
論文 参考訳（メタデータ） (2025-07-29T13:43:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。