論文の概要: Terra: Explorable Native 3D World Model with Point Latents

• arxiv url: http://arxiv.org/abs/2510.14977v1
• Date: Thu, 16 Oct 2025 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:15.010351
• Title: Terra: Explorable Native 3D World Model with Point Latents
• Title（参考訳）: Terra: ポイントラテントを備えた探索可能なネイティブ3Dワールドモデル
• Authors: Yuanhui Huang, Weiliang Chen, Wenzhao Zheng, Xin Tao, Pengfei Wan, Jie Zhou, Jiwen Lu,
• Abstract要約: 本稿では,本質的な3次元潜伏空間における探索可能な環境を表現・生成する,ネイティブな3次元世界モデルTerraを提案する。 具体的には、3次元入力を潜在点表現に符号化する新しい点対ガウス変分オートエンコーダ(P2G-VAE)を提案する。 次に、潜伏点表現を生成するためのスパース点フローマッチングネットワーク(SPFlow)を導入し、同時に潜伏点の位置と特徴を識別する。
• 参考スコア（独自算出の注目度）: 74.90179419859415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models have garnered increasing attention for comprehensive modeling of the real world. However, most existing methods still rely on pixel-aligned representations as the basis for world evolution, neglecting the inherent 3D nature of the physical world. This could undermine the 3D consistency and diminish the modeling efficiency of world models. In this paper, we present Terra, a native 3D world model that represents and generates explorable environments in an intrinsic 3D latent space. Specifically, we propose a novel point-to-Gaussian variational autoencoder (P2G-VAE) that encodes 3D inputs into a latent point representation, which is subsequently decoded as 3D Gaussian primitives to jointly model geometry and appearance. We then introduce a sparse point flow matching network (SPFlow) for generating the latent point representation, which simultaneously denoises the positions and features of the point latents. Our Terra enables exact multi-view consistency with native 3D representation and architecture, and supports flexible rendering from any viewpoint with only a single generation process. Furthermore, Terra achieves explorable world modeling through progressive generation in the point latent space. We conduct extensive experiments on the challenging indoor scenes from ScanNet v2. Terra achieves state-of-the-art performance in both reconstruction and generation with high 3D consistency.
• Abstract（参考訳）: 世界モデルは現実世界の包括的なモデリングに注目が集まっている。 しかし、既存のほとんどの手法は、物理世界の本質的な3Dの性質を無視し、世界進化の基盤としてピクセル配列の表現に依存している。 これにより3Dの一貫性が損なわれ、世界モデルのモデリング効率が低下する可能性がある。 本稿では,本研究では,本質的な3次元潜伏空間における探索可能な環境を表現・生成する,ネイティブな3次元世界モデルTerraを提案する。 具体的には、3D入力を潜在点表現に符号化し、その後3Dガウスプリミティブとして復号し、幾何学と外観を連成的にモデル化する新しい点-ガウス変分オートエンコーダ(P2G-VAE)を提案する。 次に、潜伏点表現を生成するためのスパース点フローマッチングネットワーク(SPFlow)を導入し、同時に潜伏点の位置と特徴を識別する。 私たちのTerraは、ネイティブな3D表現とアーキテクチャとの正確なマルチビューの一貫性を可能にし、単一の生成プロセスだけで任意の視点からフレキシブルなレンダリングをサポートする。 さらに、Terraは点潜在空間の進行生成を通じて探索可能な世界モデリングを実現する。 我々はScanNet v2の挑戦的な屋内シーンについて広範な実験を行った。 Terraは3D一貫性の高い再構築と生成の両方で最先端のパフォーマンスを実現している。

関連論文リスト

• SPATIALGEN: Layout-guided 3D Indoor Scene Generation [37.30623176278608]
  本研究では,現実的でセマンティックに整合した室内シーンを生成するマルチビューマルチモーダル拡散モデルであるSpatialGenを提案する。 3次元レイアウトと参照画像が与えられたモデルでは、任意の視点から外観(カラー画像)、幾何学(シーン座標マップ)、意味(セマンティックセグメンテーションマップ)を合成する。 私たちは、コミュニティを力づけ、屋内のシーン理解と生成の分野を前進させるために、データとモデルをオープンソース化しています。
  論文  参考訳（メタデータ） (2025-09-18T14:12:32Z)
• From 2D to 3D Cognition: A Brief Survey of General World Models [16.121071388463694]
  幾何学的に一貫したインタラクティブな3D環境を合成できる3D認識型生成世界モデルが実証されている。 急速な進歩にもかかわらず、この分野は、新しいテクニックを分類し、3D認知世界モデルを進める上での役割を明らかにするための体系的な分析を欠いている。 本調査は,2次元知覚から3次元認知へ移行する世界モデルの構造的,前方視的なレビューを提供する,概念的枠組みを導入することで,このニーズに対処する。
  論文  参考訳（メタデータ） (2025-06-25T05:05:09Z)
• Seeing World Dynamics in a Nutshell [132.79736435144403]
  NutWorldはモノクロ動画をダイナミックな3D表現に変換するフレームワークである。 我々は,NutWorldがリアルタイムにダウンストリームアプリケーションを実現しつつ,高忠実度ビデオ再構成品質を実現することを実証した。
  論文  参考訳（メタデータ） (2025-02-05T18:59:52Z)
• GaussianAnything: Interactive Point Cloud Flow Matching For 3D Object Generation [75.39457097832113]
  本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。 本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。 提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,単一画像入力を可能にする。
  論文  参考訳（メタデータ） (2024-11-12T18:59:32Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Deep Generative Models on 3D Representations: A Survey [81.73385191402419]
  生成モデルは、新しいインスタンスを生成することによって観測データの分布を学習することを目的としている。 最近、研究者は焦点を2Dから3Dにシフトし始めた。 3Dデータの表現は、非常に大きな課題をもたらします。
  論文  参考訳（メタデータ） (2022-10-27T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。