論文の概要: Matrix-3D: Omnidirectional Explorable 3D World Generation

• arxiv url: http://arxiv.org/abs/2508.08086v1
• Date: Mon, 11 Aug 2025 15:29:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.171021
• Title: Matrix-3D: Omnidirectional Explorable 3D World Generation
• Title（参考訳）: Matrix-3D:全方位探査可能な3Dワールドジェネレーション
• Authors: Zhongqi Yang, Wenhang Ge, Yuqi Li, Jiaqi Chen, Haoyuan Li, Mengyin An, Fei Kang, Hua Xue, Baixin Xu, Yuyang Yin, Eric Li, Yang Liu, Yikai Wang, Hao-Xiang Guo, Yahui Zhou,
• Abstract要約: 広視野全方位3次元世界生成のためのパノラマ表現を利用するフレームワークMatrix-3Dを提案する。 まず,シーンメッシュレンダリングを条件として,軌跡誘導パノラマ動画拡散モデルを訓練する。 本研究では, パノラマシーン映像を3次元世界へ持ち上げるために, (1) 高速3次元シーン再構成のためのフィードフォワード大パノラマ再構成モデル, (2) 正確かつ詳細な3次元シーン再構成のための最適化ベースパイプラインの2つの方法を提案する。
• 参考スコア（独自算出の注目度）: 20.568791715708134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explorable 3D world generation from a single image or text prompt forms a cornerstone of spatial intelligence. Recent works utilize video model to achieve wide-scope and generalizable 3D world generation. However, existing approaches often suffer from a limited scope in the generated scenes. In this work, we propose Matrix-3D, a framework that utilize panoramic representation for wide-coverage omnidirectional explorable 3D world generation that combines conditional video generation and panoramic 3D reconstruction. We first train a trajectory-guided panoramic video diffusion model that employs scene mesh renders as condition, to enable high-quality and geometrically consistent scene video generation. To lift the panorama scene video to 3D world, we propose two separate methods: (1) a feed-forward large panorama reconstruction model for rapid 3D scene reconstruction and (2) an optimization-based pipeline for accurate and detailed 3D scene reconstruction. To facilitate effective training, we also introduce the Matrix-Pano dataset, the first large-scale synthetic collection comprising 116K high-quality static panoramic video sequences with depth and trajectory annotations. Extensive experiments demonstrate that our proposed framework achieves state-of-the-art performance in panoramic video generation and 3D world generation. See more in https://matrix-3d.github.io.
• Abstract（参考訳）: 単一の画像やテキストから探索可能な3Dワールドジェネレーションは、空間知性の基盤を形成する。 近年の研究では、ビデオモデルを用いて、広視野で一般化可能な3Dワールドジェネレーションを実現している。 しかし、既存のアプローチは生成されたシーンの限られた範囲に悩まされることが多い。 本研究では,条件付きビデオ生成とパノラマ3D再構成を組み合わせた広視野全方位探索可能3Dワールドジェネレーションのためのパノラマ表現を利用するフレームワークMatrix-3Dを提案する。 まず,シーンメッシュレンダリングを条件とした軌道誘導型パノラマ映像拡散モデルを訓練し,高品質で幾何学的に一貫したシーン映像生成を実現する。 本研究では, パノラマシーン映像を3次元世界へ持ち上げるために, (1) 高速3次元シーン再構成のためのフィードフォワード大パノラマ再構成モデル, (2) 正確かつ詳細な3次元シーン再構成のための最適化ベースパイプラインの2つの方法を提案する。 116Kの高画質な静的パノラマビデオシーケンスと深度および軌跡アノテーションを組み合わせた,最初の大規模合成コレクションであるMatrix-Panoデータセットも導入した。 大規模な実験により,パノラマ映像生成と3Dワールドジェネレーションにおいて,提案手法が最先端の性能を実現することが示された。 詳しくはhttps://matrix-3d.github.ioを参照。

関連論文リスト

• Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation [66.95956271144982]
  本稿では,単一画像から一貫した3Dポイントクラウドシーケンスを生成する新しいビデオ拡散フレームワークであるVoyagerを紹介する。 既存のアプローチとは異なり、Voyagerはフレーム間で固有の一貫性を持って、エンドツーエンドのシーン生成と再構築を実現している。
  論文  参考訳（メタデータ） (2025-06-04T17:59:04Z)
• WorldExplorer: Towards Generating Fully Navigable 3D Scenes [49.21733308718443]
  WorldExplorerは、幅広い視点で一貫した視覚的品質で、完全にナビゲート可能な3Dシーンを構築する。 私たちは、シーンを深く探求する、短く定義された軌道に沿って、複数のビデオを生成します。 我々の新しいシーン記憶は、各ビデオが最も関連性の高い先行ビューで条件付けされている一方、衝突検出機構は劣化を防止している。
  論文  参考訳（メタデータ） (2025-06-02T15:41:31Z)
• WorldPrompter: Traversable Text-to-Scene Generation [18.405299478122693]
  テキストプロンプトから可逆3Dシーンを合成するための新しい生成パイプラインであるWorldPrompterを紹介する。 WorldPrompterには条件付き360度パノラマビデオジェネレータが組み込まれており、仮想環境を歩いたり捉えたりする人をシミュレートする128フレームのビデオを生成することができる。 得られたビデオは、高速フィードフォワード3Dコンストラクタによってガウススプラッターとして再構成され、3Dシーン内で真の歩行可能な体験を可能にする。
  論文  参考訳（メタデータ） (2025-04-02T18:04:32Z)
• WonderVerse: Extendable 3D Scene Generation with Video Generative Models [28.002645364066005]
  拡張可能な3Dシーンを生成するフレームワークであるWonderVerseを紹介する。 WonderVerseは、ビデオ生成基盤モデルに埋め込まれた強力な世界レベルの事前情報を活用する。 様々な3D再構成手法と互換性があり、効率的かつ高品質な生成を可能にする。
  論文  参考訳（メタデータ） (2025-03-12T08:44:51Z)
• Wonderland: Navigating 3D Scenes from a Single Image [43.99037613068823]
  本研究では,映像拡散モデルからの潜伏分を利用した大規模再構成モデルを導入し,映像の3次元ガウススプラッティングをフィードフォワードで予測する。 プログレッシブ・ラーニング・ストラテジーを用いて3次元再構成モデルをトレーニングし,高品質でワイドスコープ,ジェネリックな3次元シーンの効率的な生成を可能にする。
  論文  参考訳（メタデータ） (2024-12-16T18:58:17Z)
• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
  3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。 Layerpano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-23T17:50:23Z)
• HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions [31.342899807980654]
  3Dシーン生成は、仮想現実、ゲーム、映画産業など、さまざまな領域で高い需要がある。 フル3Dシーンの全体的初期化として,最初に高精細パノラマを生成するフレームワークであるHoloDreamerを紹介する。 そして、3Dガウススティング(3D-GS)を活用して3Dシーンを迅速に再構築し、ビュー一貫性と完全に囲まれた3Dシーンの作成を容易にする。
  論文  参考訳（メタデータ） (2024-07-21T14:52:51Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。