論文の概要: PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space

• arxiv url: http://arxiv.org/abs/2607.05373v1
• Date: Mon, 06 Jul 2026 17:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.27032
• Title: PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space
• Title（参考訳）: PixWorld:Pixel空間の3Dシーン生成と再構成を統合
• Abstract要約: 3次元再構成と生成は、一般的に異なるパラダイムによって取り組まれる。 最近の研究はそれらを潜在空間で統一しようとするが、顕著な欠点がある。 PixWorldは3次元再構成と生成を共同で扱う単一のモデルである。
• 参考スコア（独自算出の注目度）: 25.621179726094056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D reconstruction and generation are commonly tackled by separate paradigms: pixel-based regression for reconstruction, and latent diffusion for generation. Recent works attempt to unify them in latent space, but with notable drawbacks: the diffusion objective is defined on latent features rather than the underlying 3D representation, and both branches suffer from information loss introduced by latent encoding, while requiring a pretrained Variational Autoencoder (VAE) or Representation Autoencoder (RAE). In this paper, we reformulate these two tasks under a unified pixel-space diffusion paradigm and introduce PixWorld, a single model that jointly addresses 3D reconstruction and generation. By supervising diffusion directly on rendered images, PixWorld removes the above limitations and aligns optimization with 3D scene fidelity. Beyond photometric and perceptual supervision that operates at the 2D image level and lacks 3D geometric awareness, we further introduce a geometry perception loss that aligns rendered views with their ground truth in the geometry-aware feature space of a pretrained 3D foundation model, providing 3D structural supervision. PixWorld consistently outperforms prior latent-space generation methods and matches state-of-the-art reconstruction methods, demonstrating the superiority of a unified pixel-space approach.
• Abstract（参考訳）: 3次元再構成と生成は、通常、画素ベースの再構成のための回帰と、生成のための潜時拡散という、別のパラダイムによって取り組まれる。 拡散目的は下層の3D表現ではなく潜時特徴に基づいて定義され、両方の分岐は事前訓練された変分オートエンコーダ(VAE)や表現オートエンコーダ(RAE)を必要とするが、潜時符号化によって引き起こされる情報損失に悩まされる。 本稿では,これら2つのタスクを統一的なピクセル空間拡散パラダイムの下で再構成し,3次元再構成と生成に共同で対処するPixWorldを紹介する。 PixWorldは、レンダリング画像への拡散を直接監視することにより、上記の制限を取り除き、最適化を3Dシーンの忠実さと整合させる。 2次元画像レベルで動作し、3次元の幾何学的認識が欠如している光度・知覚的監視に加えて、事前訓練された3次元基礎モデルの幾何学的特徴空間において、レンダリングされたビューをそれらの基底的真実と整合させる幾何学的認識損失を導入し、3次元構造的監督を提供する。 PixWorldは、従来の潜時空間生成方法より一貫して優れ、最先端の再構成手法と一致し、統一されたピクセル空間アプローチの優位性を実証している。

関連論文リスト

• Pano3D: Unified 3D Reconstruction and Panoptic Segmentation [68.18993232814061]
  統合されたフレームワークで3次元再構成と3次元パノプティクスのセグメンテーションを行う手法を提案する。 既存の3次元再構成モデルを構築し,それをマスクデコーダで拡張する。 提案手法は,ScanNet,ScanNet200,ScanNet++データセット間の3次元パノプティクスセグメンテーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-06-12T09:43:13Z)
• Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment [8.98466538269363]
  Native3Dは、2D中間表現を完全にバイパスする最初のエンドツーエンドの3Dシーン生成フレームワークである。 本稿では,トランスフォーマーを用いたシーンエンコーダを用いて,幾何学的構造とテクスチャの特徴を同時にモデル化したメッシュ・テクスチャ結合表現を提案する。
  論文  参考訳（メタデータ） (2026-06-05T10:13:17Z)
• Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
  UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。 エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。 第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。 第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
  論文  参考訳（メタデータ） (2026-04-12T10:36:18Z)
• OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder [90.8453349494245]
  本研究では,コヒーレントな3次元表現空間内で直接拡散を行うOneWorldを提案する。 OneWorldは、最先端の2Dベースの方法と比較して、クロスビューの一貫性に優れた高品質な3Dシーンを生成する。
  論文  参考訳（メタデータ） (2026-03-17T03:43:37Z)
• NOVA3R: Non-pixel-aligned Visual Transformer for Amodal 3D Reconstruction [99.52487968452198]
  NOVA3Rは、フィードフォワード方式で、未提示画像の集合から非画素アラインな3D再構成に有効なアプローチである。 重なり合う領域における重複構造の少ない物理的に可算な幾何学を生成する。 復元精度と完全性の観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2026-03-04T15:36:25Z)
• E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training [55.61379509038588]
  E-RayZerは、ラベルのない画像から直接、真の3D認識表現を学習する、自己教師付き大規模3Dビジョンモデルである。 E-RayZerは直接3D空間で動作し、明示幾何学を用いて自己教師付き3D再構成を行う。
  論文  参考訳（メタデータ） (2025-12-11T18:59:53Z)
• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• LIST: Learning Implicitly from Spatial Transformers for Single-View 3D Reconstruction [5.107705550575662]
  Listは、局所的およびグローバルな画像特徴を活用して、単一の画像から3Dオブジェクトの幾何学的および位相的構造を再構築する、新しいニューラルネットワークである。 合成画像と実世界の画像から3Dオブジェクトを再構成する際のモデルの有用性を示す。
  論文  参考訳（メタデータ） (2023-07-23T01:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。