論文の概要: ArtiTwinSplat: Interactable Digital Twin Reconstruction via Gaussian Splatting from RGB-D videos
- arxiv url: http://arxiv.org/abs/2606.24628v1
- Date: Tue, 23 Jun 2026 14:24:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:49.014485
- Title: ArtiTwinSplat: Interactable Digital Twin Reconstruction via Gaussian Splatting from RGB-D videos
- Title（参考訳）: ArtiTwinSplat:RGB-Dビデオからのガウススプラッティングによるデジタル双極子再構成
- Authors: Pranjal Mishra, René Zurbrügg, Max Wilder-Smith, Marco Hutter, Marc Pollefeys, Zuria Bauer, Hermann Blum,
- Abstract要約: ArtiTwinSplatは、RGB-Dビデオからオブジェクトの合成された写真リアルなデジタルツインを自動的に構築するフレームワークである。
本手法は幾何学的忠実度と測光的リアリズムを保存する3次元ガウス格子上に構築されている。
- 参考スコア（独自算出の注目度）: 47.4010297818512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying robots in unstructured real-world environments needs accurate, interactive models of the objects. Constructing these models at scale remains a critical bottleneck for robotic system integration. We present ArtiTwinSplat, a framework that automatically constructs articulated, photo-realistic digital twins of objects directly from RGB-D videos, requiring no CAD models, simulation assets, or manual annotations. Our method is built on 3D Gaussian Splatting that preserve geometric fidelity and photometric realism, coupled with an unsupervised articulation discovery pipeline that recovers part structure and joint kinematics from observed motion alone. With tracking and optimization stages our method provides stable, queryable digital twins that support real-time rendering, viewpoint control, and interactive manipulation. Unlike prior methods confined to simulation, ArtiTwinSplat operates directly on real-world observations and produces twins that are immediately usable by downstream robot planning and learning systems. This method offers a practical, scalable pathway toward digital twin construction, lowering the integration barrier for articulated object manipulation in embodied AI and human-robot collaboration contexts.
- Abstract（参考訳）: 構造化されていない現実世界環境にロボットを配置するには、オブジェクトの正確でインタラクティブなモデルが必要である。
これらのモデルを大規模に構築することは、ロボットシステム統合にとって重要なボトルネックである。
ArtiTwinSplatは,RGB-Dビデオから直接オブジェクトを合成し,CADモデルやシミュレーションアセット,手動アノテーションを必要とせずに自動生成するフレームワークである。
本手法は幾何学的忠実度と測光的リアリズムを保存した3次元ガウス平板上に構築され, 観察された動きのみから部分構造と関節運動を復元する非教師なし調音探索パイプラインが組み合わさったものである。
トラッキングと最適化の段階において、我々の手法は、リアルタイムレンダリング、視点制御、インタラクティブな操作をサポートする安定したクエリ可能なデジタルツインを提供する。
ArtiTwinSplatは、シミュレーションに制限された従来の方法とは異なり、現実世界の観測を直接操作し、下流のロボット計画と学習システムですぐに使用可能な双子を生産する。
この方法は、デジタル双対構築に向けた実用的でスケーラブルな経路を提供し、具体化されたAIと人間とロボットのコラボレーションコンテキストにおけるオブジェクト操作の統合障壁を低くする。
関連論文リスト
- ManiSplat: Manipulation Trajectory Synthesis from Monocular Video via Decoupled 3D Gaussian Splatting [28.256286705954846]
現実の観察から動的でインタラクティブな3Dシーンを再構築することは、コンピュータビジョンとロボティクスの基本的な課題である。
ロボットビデオから直接ガウスのデジタル双生児を制御可能で分離する統合フレームワークであるManiSplatを紹介した。
提案手法は,対話駆動型動的シーンを高忠実度かつ制御性で再構築し,下流ロボットタスクとポリシー学習を効果的に支援する。
論文 参考訳（メタデータ） (2026-06-09T09:55:58Z) - Video2Sim2Real: Full-Stack Autonomous Dexterous Skill Acquisition from a Single Human Video [25.87334839420446]
Video2Sim2Realは、単一の人間の操作ビデオから自律的なスキル獲得のためのフルスタックフレームワークである。
既製の基礎モデルを用いてシミュレーター対応のデジタルツインを再構築し,ロボットや物体の動きを抽出する。
我々は,雑音の多い実世界の点雲からILを介してロボットの構成を調整し,残差RLを利用して局所的な指レベル適応を行う。
論文 参考訳（メタデータ） (2026-06-07T20:45:47Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳（メタデータ） (2026-06-03T17:57:45Z) - URDF-Anything+: Autoregressive Articulated 3D Models Generation for Physical Simulation [45.4820195450296]
本稿では,視覚的観察から実行可能なオブジェクトモデルを直接生成する,エンドツーエンドの自動回帰フレームワークを提案する。
視覚的観察から構築された高忠実度デジタル双生児は、シミュレーションで訓練されたポリシーを、オンライン適応なしで実際のロボットに転送することができる。
論文 参考訳（メタデータ） (2026-03-14T16:23:44Z) - Robo3R: Enhancing Robotic Manipulation with Accurate Feed-Forward 3D Reconstruction [70.06600045165905]
3D空間認識は、一般的なロボット操作の基本であるが、信頼性が高く高品質な3D形状の取得は依然として困難である。
本稿では,RGB画像やロボットの状態から直接,正確な距離スケールのシーン形状をリアルタイムで予測する操作可能な3次元再構成モデルであるRobo3Rを紹介する。
我々は、ロボット操作のためのこの代替3Dセンシングモジュールの約束を示唆し、パフォーマンスの連続的な向上を観察する。
論文 参考訳（メタデータ） (2026-02-10T18:58:15Z) - Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。
実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。
次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
論文 参考訳（メタデータ） (2026-01-24T07:43:57Z) - A High-Fidelity Digital Twin for Robotic Manipulation Based on 3D Gaussian Splatting [0.0]
粗いRGB入力から数分以内に高品質なデジタルツインを構築するフレームワークを提案する。
本システムでは3次元ガウススプラッティング(3DGS)を用いて高速で光写実的再構成を行い,シーンを統一的に表現する。
フランカ・エミカ・パンダ(Franka Emika Panda)ロボットを用いた実験では、この拡張された幾何精度が実世界の試行において堅牢な操作を効果的にサポートすることを示した。
論文 参考訳（メタデータ） (2026-01-06T17:29:10Z) - URDF-Anything: Constructing Articulated Objects with 3D Multimodal Language Model [76.08429266631823]
3次元マルチモーダル大言語モデル(MLLM)に基づくエンドツーエンドの自動再構築フレームワークを提案する。
URDF-Anythingは、ポイントクラウドとテキストマルチモーダル入力に基づく自己回帰予測フレームワークを使用して、幾何学的セグメンテーションと運動論的パラメータ予測を協調的に最適化する。
シミュレーションと実世界の両方のデータセットの実験は、我々の手法が既存の手法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2025-11-02T13:45:51Z) - Optimizing Grasping in Legged Robots: A Deep Learning Approach to Loco-Manipulation [0.6533458718563319]
本稿では,腕を備えた四足歩行の把握能力を高めるための枠組みを提案する。
そこで我々は,ジェネシスシミュレーション環境内にパイプラインを構築し,共通物体の把握試行の合成データセットを生成する。
このデータセットは、オンボードのRGBとディープカメラからのマルチモーダル入力を処理するU-Netのようなアーキテクチャで、カスタムCNNのトレーニングに使用された。
四脚ロボットの完全な枠組みを検証した。
論文 参考訳（メタデータ） (2025-08-24T17:47:56Z) - Is Single-View Mesh Reconstruction Ready for Robotics? [78.14584238127338]
本研究では,ロボット操作のための物理シミュレータを用いたリアルタイム計画と動的予測のためのディジタル双対生成の実現の可能性について,単一ビューメッシュ再構成モデルの評価を行った。
我々の研究は、コンピュータビジョンの進歩とロボティクスの必要性の間に重要なギャップがあることを浮き彫りにし、この交差点における将来の研究を導く。
論文 参考訳（メタデータ） (2025-05-23T14:35:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。