論文の概要: LiteReality: Graphics-Ready 3D Scene Reconstruction from RGB-D Scans
- arxiv url: http://arxiv.org/abs/2507.02861v1
- Date: Thu, 03 Jul 2025 17:59:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-04 15:37:16.88127
- Title: LiteReality: Graphics-Ready 3D Scene Reconstruction from RGB-D Scans
- Title(参考訳): LiteReality:RGB-Dスキャンによるグラフィクス対応の3Dシーン再構成
- Authors: Zhening Huang, Xiaoyang Wu, Fangcheng Zhong, Hengshuang Zhao, Matthias Nießner, Joan Lasenby,
- Abstract要約: LiteRealityは、屋内環境のRGB-Dスキャンをコンパクトでリアルでインタラクティブな3D仮想レプリカに変換する、新しいパイプラインである。
LiteRealityは、オブジェクトの個性、明瞭さ、高品質なレンダリング材料、物理ベースのインタラクションなど、グラフィックパイプラインに不可欠な重要な機能をサポートしている。
本研究は,LiteRealityが実生活スキャンと公開データセットの両方に与える影響を実証する。
- 参考スコア(独自算出の注目度): 64.31686158593351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose LiteReality, a novel pipeline that converts RGB-D scans of indoor environments into compact, realistic, and interactive 3D virtual replicas. LiteReality not only reconstructs scenes that visually resemble reality but also supports key features essential for graphics pipelines -- such as object individuality, articulation, high-quality physically based rendering materials, and physically based interaction. At its core, LiteReality first performs scene understanding and parses the results into a coherent 3D layout and objects with the help of a structured scene graph. It then reconstructs the scene by retrieving the most visually similar 3D artist-crafted models from a curated asset database. Next, the Material Painting module enhances realism by recovering high-quality, spatially varying materials. Finally, the reconstructed scene is integrated into a simulation engine with basic physical properties to enable interactive behavior. The resulting scenes are compact, editable, and fully compatible with standard graphics pipelines, making them suitable for applications in AR/VR, gaming, robotics, and digital twins. In addition, LiteReality introduces a training-free object retrieval module that achieves state-of-the-art similarity performance on the Scan2CAD benchmark, along with a robust material painting module capable of transferring appearances from images of any style to 3D assets -- even under severe misalignment, occlusion, and poor lighting. We demonstrate the effectiveness of LiteReality on both real-life scans and public datasets. Project page: https://litereality.github.io; Video: https://www.youtube.com/watch?v=ecK9m3LXg2c
- Abstract(参考訳): 室内環境のRGB-Dスキャンをコンパクトでリアルでインタラクティブな3D仮想レプリカに変換する新しいパイプラインであるLiteRealityを提案する。
LiteRealityは、現実に類似したシーンを再構築するだけでなく、オブジェクトの個性、明瞭さ、高品質な物理ベースのレンダリング材料、物理ベースのインタラクションなど、グラフィックパイプラインに不可欠な重要な機能もサポートしている。
LiteRealityの中核は、まずシーン理解を行い、構造化されたシーングラフの助けを借りて、結果をコヒーレントな3Dレイアウトとオブジェクトに解析する。
そして、キュレートされた資産データベースから、最も視覚的に類似した3Dアーティスト制作モデルを取得することで、シーンを再構築する。
次に、材料塗装モジュールは、高品質で空間的に変化する材料を回収することにより、現実性を高める。
最後に、再構成されたシーンを基本的な物理特性を持つシミュレーションエンジンに統合し、インタラクティブな動作を可能にする。
結果として得られるシーンはコンパクトで編集可能で、標準的なグラフィックスパイプラインと完全に互換性があり、AR/VR、ゲーム、ロボティクス、デジタルツインのアプリケーションに適している。
さらに、LiteRealityは、Scan2CADベンチマークで最先端の類似性能を達成するトレーニング不要なオブジェクト検索モジュールと、あらゆるスタイルの画像から3Dアセットへの外観の転送が可能な堅牢なマテリアルペイントモジュールを導入している。
本研究は,LiteRealityが実生活スキャンと公開データセットの両方に与える影響を実証する。
プロジェクトページ: https://litereality.github.io; Video: https://www.youtube.com/watch?
v=ecK9m3Lg2c
関連論文リスト
- R3D2: Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation [78.26308457952636]
本稿では,自律運転シミュレーションの限界を克服する軽量な1ステップ拡散モデルであるR3D2を紹介する。
シャドウや一貫した照明など、妥当なレンダリング効果を生み出すことで、既存のシーンに完全な3Dアセットを現実的に挿入することができる。
R3D2は挿入されたアセットの現実性を大幅に向上させ,テキストから3Dへのアセット挿入やクロスシーン/データセットオブジェクト転送といったユースケースを可能にした。
論文 参考訳(メタデータ) (2025-06-09T14:50:19Z) - StyleMe3D: Stylization with Disentangled Priors by Multiple Encoders on 3D Gaussians [23.1385740508835]
StyleMe3Dは3D GSスタイルの転送のための総合的なフレームワークである。
マルチモーダルスタイルのコンディショニング、マルチレベルセマンティックアライメント、知覚的品質向上を統合している。
この作品は、フォトリアリスティックな3D GSと芸術的なスタイリング、ゲーム、バーチャルワールド、デジタルアートのアンロックを橋渡しする。
論文 参考訳(メタデータ) (2025-04-21T17:59:55Z) - Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials [108.59709545364395]
GPT-4Vは、材料を効果的に認識し、記述することができ、詳細な材料ライブラリを構築することができる。
そして、整合した材料を、新たなSVBRDF材料生成の基準として慎重に適用する。
Make-it-Realは、3Dコンテンツ作成ワークフローに合理化された統合を提供する。
論文 参考訳(メタデータ) (2024-04-25T17:59:58Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳(メタデータ) (2023-07-11T17:58:31Z) - Neural Assets: Volumetric Object Capture and Rendering for Interactive
Environments [8.258451067861932]
本研究では,現実の物体を日常の環境に忠実かつ迅速に捕獲する手法を提案する。
我々は、新しい神経表現を用いて、透明な物体部品などの効果を再構築し、物体の外観を保ちます。
これにより、提案されたニューラルネットワークアセットを既存のメッシュ環境やオブジェクトとシームレスに統合することが可能になる。
論文 参考訳(メタデータ) (2022-12-12T18:55:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。