論文の概要: HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video
- arxiv url: http://arxiv.org/abs/2510.05560v1
- Date: Tue, 07 Oct 2025 04:12:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.091661
- Title: HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video
- Title（参考訳）: HoloScene:シミュレーション可能なインタラクティブな3Dワールド
- Authors: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang,
- Abstract要約: HoloSceneはインタラクティブな3D再構成フレームワークである。
オブジェクトの幾何学、外観、物理的特性を階層的およびオブジェクト間関係と共に符号化する。
得られたデジタル双生児は、新しい視点から完全な正確な幾何学、物理的安定性、現実的なレンダリングを示す。
- 参考スコア（独自算出の注目度）: 25.898073594115413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Digitizing the physical world into accurate simulation-ready virtual environments offers significant opportunities in a variety of fields such as augmented and virtual reality, gaming, and robotics. However, current 3D reconstruction and scene-understanding methods commonly fall short in one or more critical aspects, such as geometry completeness, object interactivity, physical plausibility, photorealistic rendering, or realistic physical properties for reliable dynamic simulation. To address these limitations, we introduce HoloScene, a novel interactive 3D reconstruction framework that simultaneously achieves these requirements. HoloScene leverages a comprehensive interactive scene-graph representation, encoding object geometry, appearance, and physical properties alongside hierarchical and inter-object relationships. Reconstruction is formulated as an energy-based optimization problem, integrating observational data, physical constraints, and generative priors into a unified, coherent objective. Optimization is efficiently performed via a hybrid approach combining sampling-based exploration with gradient-based refinement. The resulting digital twins exhibit complete and precise geometry, physical stability, and realistic rendering from novel viewpoints. Evaluations conducted on multiple benchmark datasets demonstrate superior performance, while practical use-cases in interactive gaming and real-time digital-twin manipulation illustrate HoloScene's broad applicability and effectiveness. Project page: https://xiahongchi.github.io/HoloScene.
- Abstract（参考訳）: 物理世界を正確なシミュレーション可能な仮想環境にジジタイズすることは、拡張現実や仮想現実、ゲーム、ロボット工学など、さまざまな分野において大きな機会をもたらす。
しかしながら、現在の3D再構成とシーン理解手法は、幾何完全性、オブジェクトの相互作用性、物理的可視性、フォトリアリスティックレンダリング、信頼性のある動的シミュレーションのための現実的な物理特性など、一つの重要な側面で一般的に不足する。
これらの制約に対処するために,これらの要件を同時に達成するインタラクティブな3D再構成フレームワークであるHoloSceneを紹介した。
HoloSceneは総合的なインタラクティブなシーングラフ表現を活用し、階層的およびオブジェクト間関係とともにオブジェクトの幾何学、外観、物理的特性を符号化する。
再構成はエネルギーベースの最適化問題として定式化され、観測データ、物理的制約、生成前の問題を統一的で一貫性のある目的に統合する。
最適化は、サンプリングベース探索と勾配ベース精製を組み合わせたハイブリッドアプローチによって効率的に行われる。
結果として得られるデジタルツインは、完全に正確な幾何学、物理的安定性、そして新しい視点から現実的なレンダリングを示す。
複数のベンチマークデータセットで実施された評価は優れたパフォーマンスを示し、インタラクティブゲームやリアルタイムデジタルツイン操作における実用的なユースケースは、HoloSceneの幅広い適用性と有効性を示している。
プロジェクトページ: https://xiahongchi.github.io/HoloScene.com
関連論文リスト
- Video Perception Models for 3D Scene Synthesis [109.5543506037003]
VIPSceneは、ビデオ生成モデルにおける3D物理世界のエンコードされたコモンセンス知識を利用する新しいフレームワークである。
VIPSceneはビデオ生成、フィードフォワード3D再構成、オープン語彙認識モデルをシームレスに統合し、シーン内の各オブジェクトを意味的かつ幾何学的に分析する。
論文 参考訳（メタデータ） (2025-06-25T16:40:17Z) - HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation [50.206100327643284]
HiSceneは、2D画像生成と3Dオブジェクト生成のギャップを埋める新しい階層的なフレームワークである。
構成構造を維持しながら2次元表現に整合した3次元コンテンツを生成する。
論文 参考訳（メタデータ） (2025-04-17T16:33:39Z) - PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos [21.441062722848265]
PhysTwinは、対話中の動的オブジェクトのスパースビデオを使用して、写真と物理的にリアルでリアルタイムなインタラクティブなレプリカを生成する新しいフレームワークである。
提案手法は,(1)現実的な物理シミュレーションのためにバネ質量モデルを組み合わせた物理インフォームド表現,および幾何学のための生成形状モデル,およびレンダリングのためのガウススプラットである。
本手法は,視覚的知覚の手がかりと逆物理の枠組みを統合し,部分的,隠蔽的,限定的な視点からでも高忠実度復元を可能にする。
論文 参考訳（メタデータ） (2025-03-23T07:49:19Z) - 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [115.67081491747943]
動的3Dシーン表現と新しいビュー合成はAR/VRおよびメタバースアプリケーションの実現に不可欠である。
我々は,その基礎となる4次元体積を近似として,時間変化の異なる3次元シーンの再構成を再構成する。
ストレージのボトルネックに対処するため、メモリフットプリントを効果的に削減するいくつかのコンパクトなバリエーションを導出する。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - Efficient Physics Simulation for 3D Scenes via MLLM-Guided Gaussian Splatting [32.846428862045634]
Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。
人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。
また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
論文 参考訳（メタデータ） (2024-11-19T12:52:21Z) - Zero-Shot Multi-Object Scene Completion [59.325611678171974]
1枚のRGB-D画像から複雑なシーンにおける複数の見えない物体の完全な形状を復元する3Dシーン補完法を提案する。
提案手法は, 合成および実世界の両方のデータセットにおいて, 現在の最先端技術よりも優れている。
論文 参考訳（メタデータ） (2024-03-21T17:59:59Z) - HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。
年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。
アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
論文 参考訳（メタデータ） (2021-12-23T22:27:55Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳（メタデータ） (2021-01-16T23:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。