論文の概要: DRAWER: Digital Reconstruction and Articulation With Environment Realism
- arxiv url: http://arxiv.org/abs/2504.15278v2
- Date: Tue, 22 Apr 2025 05:50:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 11:41:41.29252
- Title: DRAWER: Digital Reconstruction and Articulation With Environment Realism
- Title（参考訳）: DRAWER: 環境リアリズムによるデジタルレコンストラクションとアーティキュレーション
- Authors: Hongchi Xia, Entong Su, Marius Memmel, Arhan Jain, Raymond Yu, Numfor Mbiziwo-Tiapo, Ali Farhadi, Abhishek Gupta, Shenlong Wang, Wei-Chiu Ma,
- Abstract要約: 静的屋内シーンの映像を光現実的でインタラクティブなデジタル環境に変換する新しいフレームワークであるDRAWERを提案する。
我々は、DRAWERの可能性を、Unreal Engineでインタラクティブなゲームを自動的に作成し、ロボットアプリケーションのためのリアルからシミュレート・トゥ・リアルなトランスファーを可能にするために示している。
- 参考スコア（独自算出の注目度）: 42.13130021795826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating virtual digital replicas from real-world data unlocks significant potential across domains like gaming and robotics. In this paper, we present DRAWER, a novel framework that converts a video of a static indoor scene into a photorealistic and interactive digital environment. Our approach centers on two main contributions: (i) a reconstruction module based on a dual scene representation that reconstructs the scene with fine-grained geometric details, and (ii) an articulation module that identifies articulation types and hinge positions, reconstructs simulatable shapes and appearances and integrates them into the scene. The resulting virtual environment is photorealistic, interactive, and runs in real time, with compatibility for game engines and robotic simulation platforms. We demonstrate the potential of DRAWER by using it to automatically create an interactive game in Unreal Engine and to enable real-to-sim-to-real transfer for robotics applications.
- Abstract（参考訳）: 現実世界のデータから仮想デジタルレプリカを作ることは、ゲームやロボティクスといった分野において大きな可能性を秘めている。
本稿では,静的な屋内シーンの映像をフォトリアリスティックでインタラクティブなデジタル環境に変換する新しいフレームワークDRAWERを提案する。
私たちのアプローチは2つの主な貢献に重点を置いています。
一 細かな幾何学的詳細でシーンを再構築する二重シーン表現に基づく復元モジュール及び
二 調音タイプ及びヒンジ位置を識別し、シミュレート可能な形状及び外観を再構成し、シーンに統合する調音モジュール。
結果として生じる仮想環境は、フォトリアリスティックでインタラクティブで、リアルタイムで実行され、ゲームエンジンとロボットシミュレーションプラットフォームとの互換性がある。
我々は、DRAWERの可能性を、Unreal Engineでインタラクティブなゲームを自動的に作成し、ロボットアプリケーションのためのリアルからシミュレート・トゥ・リアルなトランスファーを可能にするために示している。
関連論文リスト
- SimPRIVE: a Simulation framework for Physical Robot Interaction with Virtual Environments [4.966661313606916]
本稿では,仮想環境との物理的相互作用をシミュレーションするSimPRIVEを提案する。
SimPRIVEを使用することで、ROS 2上で動作する任意の物理移動ロボットは、Unreal Engine 5グラフィックエンジンで構築された仮想世界でデジタルツインを動かせるように構成することができる。
このフレームワークは、AgileX Scout Miniローバーで障害物回避のためにトレーニングされた強化学習エージェントをテストすることで検証されている。
論文 参考訳（メタデータ） (2025-04-30T09:22:55Z) - PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos [21.441062722848265]
PhysTwinは、対話中の動的オブジェクトのスパースビデオを使用して、写真と物理的にリアルでリアルタイムなインタラクティブなレプリカを生成する新しいフレームワークである。
提案手法は,(1)現実的な物理シミュレーションのためにバネ質量モデルを組み合わせた物理インフォームド表現,および幾何学のための生成形状モデル,およびレンダリングのためのガウススプラットである。
本手法は,視覚的知覚の手がかりと逆物理の枠組みを統合し,部分的,隠蔽的,限定的な視点からでも高忠実度復元を可能にする。
論文 参考訳（メタデータ） (2025-03-23T07:49:19Z) - VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion [25.440573256776133]
本稿では,視覚ナビゲーションと移動学習のための物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成する,リアル・ツー・シム・トゥ・リアルのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-03T17:15:05Z) - URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images [39.0780707100513]
そこで本研究では,実世界の画像からキネマティック構造と動的構造を合成したシミュレーションシーンを生成するエンドツーエンドパイプラインを提案する。
そこで本研究は,大規模シミュレーション環境のためのパイプラインと,ロバストなロボット制御ポリシをトレーニングするための統合システムの両方を提供する。
論文 参考訳（メタデータ） (2024-05-19T20:01:29Z) - Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video [23.484070818399]
Video2Gameは、現実世界のシーンのビデオを自動的にリアルでインタラクティブなゲーム環境に変換する新しいアプローチである。
リアルタイムに高リアルなレンダリングを作成できるだけでなく、インタラクティブなゲームも構築できることが示されています。
論文 参考訳（メタデータ） (2024-04-15T14:32:32Z) - Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model
Alignments [81.38641691636847]
エンボディエージェントの観点から,シーン再構築の問題を再考する。
rgb-dデータストリームを用いてインタラクティブシーンを再構築する。
この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
論文 参考訳（メタデータ） (2021-03-30T05:56:58Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳（メタデータ） (2021-01-16T23:00:33Z) - OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene
Datasets [103.54691385842314]
本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。
私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。
これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
論文 参考訳（メタデータ） (2020-07-25T06:48:47Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。
ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
論文 参考訳（メタデータ） (2020-05-25T14:10:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。