論文の概要: RORA: Realistic Object Reconstruction with Articulation
- arxiv url: http://arxiv.org/abs/2608.04842v1
- Date: Wed, 05 Aug 2026 13:36:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.942746
- Title: RORA: Realistic Object Reconstruction with Articulation
- Title（参考訳）: RORA:アーティキュレーションによる現実的物体再構成
- Authors: Hyesung Lee, Youngseon Lee, Kyutae Lee, Dongjun Lee, Yongseok Lee,
- Abstract要約: 本研究では,1つの静的オブジェクトビデオ入力から正確な調音でシミュレーション可能なアセットを再構築する,最初のエンドツーエンドパイプラインを提案する。
提案手法は,レンダリングのための3DGSと物理インタラクションのためのメッシュベースの幾何学を組み合わせたハイブリッド表現を輸出する。
提案手法は,partnet-mobility-v0データセットと実オブジェクトに対して,正確な調音結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 10.305820103142269
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Replicating real-world environments into simulation by realistic visual representation like NeRF and 3D Gaussian Splatting (3DGS) has emerged as an effective strategy to reduce the sim-to-real gap in robot learning. However, implementing object articulation during the real-to-sim process is still a challenging task. Existing motion tracking or learning based articulation methods shows low success rates on complex kinematic structures having multiple joints. Furthermore, those methods require scan of dynamic motion of objects, which makes reconstruction process much complicated. In this work, we propose the first end-to-end pipeline that reconstructs simulation-ready assets with accurate articulation from a single static object video input through suggestion based human-in-the-loop process. Our approach exports a hybrid representation combining 3DGS for photorealistic rendering and mesh-based geometry for physical interaction. In the reconstruction process, our pipeline performs convex decomposition followed by user grouping for intuitive part segmentation, subsequently binding 3D Gaussians to the corresponding mesh parts. An Automatic Joint Suggestion Algorithm then calculates candidate joint axes from local boundary geometries and presents them to users for efficient articulated asset reconstruction. We have shown that our method achieves precise articulation results on partnet-mobility-v0 dataset and real objects. Additionally we presented a potential usage of our framework on robot learning, deploying the reconstructed assets in Unreal Engine and NVIDIA Isaac Sim, demonstrating real-time dexterous hand manipulation tasks.
- Abstract（参考訳）: 実世界の環境を、NeRFや3D Gaussian Splatting(3DGS)のようなリアルな視覚表現によるシミュレーションに再現することは、ロボット学習におけるシミュレートとリアルのギャップを減らす効果的な戦略として現れている。
しかし、実際のto-simプロセスでオブジェクトの表現を実装することは依然として難しい課題である。
既存の動作追跡や学習に基づく調音法は、複数の関節を持つ複雑な運動構造に対して低い成功率を示す。
さらに、これらの手法では物体の動的動きをスキャンする必要があるため、再構成プロセスはより複雑になる。
本研究では,提案手法を用いた提案手法により,1つの静的オブジェクト映像からの正確な調音でシミュレーション可能なアセットを再構築する,最初のエンドツーエンドパイプラインを提案する。
提案手法は,光リアルレンダリングのための3DGSと物理相互作用のためのメッシュベースの幾何を組み合わせたハイブリッド表現を輸出する。
再建過程において, パイプラインは凸分解を行い, 直感的な部分分割のためのユーザグループ化を行い, 3Dガウスアンを対応するメッシュ部品に結合する。
自動継手提案アルゴリズムは, 局所境界測地から候補関節軸を算出し, 利用者に提示し, 効率的な調音資産再構築を行う。
提案手法は,partnet-mobility-v0データセットと実オブジェクトに対して,正確な調音結果が得られることを示す。
さらに,ロボット学習におけるフレームワークの利用の可能性,Unreal EngineとNVIDIA Isaac Simに再構成されたアセットをデプロイし,リアルタイムの手操作タスクをデモした。
関連論文リスト
- Compositional Motion Generation from Demonstration with Object-Centric Neural Fields [1.4916971861796382]
本稿では,ロボットの動作の合成モデリングを可能にする生成学習フレームワークを提案する。
我々は、標準の神経場と潜在条件の変形を統合するオブジェクト中心の神経表現のシーンを描画する。
シミュレーションでは,提案モデルを用いて長期操作タスクを完了させる。
論文 参考訳（メタデータ） (2026-07-08T08:20:24Z) - Occlusion-Robust Multi-Object Decoupling for Physics-Based Robotic Interaction [33.71202994777273]
本研究では,スパース・オブ・オブ・オブ・ザ・リアルワールドビューから多目的3次元再構成を実現するマスクレス手法を提案する。
本手法は手動マスクを必要とせずにシミュレーション可能な3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2026-06-28T09:50:46Z) - GASE: Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments [63.222920701596564]
実世界での実施エージェントの訓練には熟練したオペレーターと高価なハードウェアが必要である。
シミュレーション環境は、大規模で費用対効果の高いデータ拡張を可能にすることで、魅力的な代替手段を提供する。
シミュレーションシーンを最小限のsim-to-realギャップで高速に構築することは、ロボット学習において重要な目標となっている。
論文 参考訳（メタデータ） (2026-06-16T05:00:42Z) - Asset Harvester: Extracting 3D Assets from Autonomous Driving Logs for Simulation [63.01022057888141]
Asset Harvesterはイメージ・ツー・3Dモデルとエンドツーエンドのパイプラインで、実際の運転ログからスパース・イン・ザ・ワン・オブジェクトの観察を完全なシミュレーション可能なアセットに変換する。
SparseViewDiTは、限定角度ビューやその他の実世界のデータ課題に対処するように明示的に設計されている。
論文 参考訳（メタデータ） (2026-04-20T16:20:57Z) - URDF-Anything+: Autoregressive Articulated 3D Models Generation for Physical Simulation [45.4820195450296]
本稿では,視覚的観察から実行可能なオブジェクトモデルを直接生成する,エンドツーエンドの自動回帰フレームワークを提案する。
視覚的観察から構築された高忠実度デジタル双生児は、シミュレーションで訓練されたポリシーを、オンライン適応なしで実際のロボットに転送することができる。
論文 参考訳（メタデータ） (2026-03-14T16:23:44Z) - ArtLLM: Generating Articulated Assets via 3D LLM [19.814132638278547]
ArtLLMは、完全な3Dメッシュから直接高品質な調音資産を生成するための新しいフレームワークである。
コアとなるのは,大規模な調音データセットに基づいてトレーニングされた,3Dマルチモーダルな大規模言語モデルだ。
実験の結果,ArtLLMは部品配置精度と接合予測の両方で最先端の手法を著しく上回ることがわかった。
論文 参考訳（メタデータ） (2026-03-01T15:07:46Z) - URDF-Anything: Constructing Articulated Objects with 3D Multimodal Language Model [76.08429266631823]
3次元マルチモーダル大言語モデル(MLLM)に基づくエンドツーエンドの自動再構築フレームワークを提案する。
URDF-Anythingは、ポイントクラウドとテキストマルチモーダル入力に基づく自己回帰予測フレームワークを使用して、幾何学的セグメンテーションと運動論的パラメータ予測を協調的に最適化する。
シミュレーションと実世界の両方のデータセットの実験は、我々の手法が既存の手法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2025-11-02T13:45:51Z) - REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。
室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
論文 参考訳（メタデータ） (2025-10-13T12:37:59Z) - ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting [66.29782808719301]
コンピュータビジョンにおいて、音声で表現されたオブジェクトを構築することが重要な課題である。
既存のメソッドは、しばしば異なるオブジェクト状態間で効果的に情報を統合できない。
3次元ガウスを柔軟かつ効率的な表現として活用する新しいアプローチであるArtGSを紹介する。
論文 参考訳（メタデータ） (2025-02-26T10:25:32Z) - Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。
提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。
提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
論文 参考訳（メタデータ） (2024-03-28T11:12:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。