論文の概要: DEXTERA: From a Single Image to Deployable Dexterous Manipulation via Real-to-Sim-to-Real
- arxiv url: http://arxiv.org/abs/2609.21045v1
- Date: Thu, 17 Sep 2026 20:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.766321
- Title: DEXTERA: From a Single Image to Deployable Dexterous Manipulation via Real-to-Sim-to-Real
- Title（参考訳）: DEXTERA: 単一イメージからリアル・ツー・シム・トゥ・リールによるデプロイ可能なデクサラスマニピュレーション
- Abstract要約: DEXTERAは、デクスタラス操作のための、リアルタイムからシミュレートへ自動化されたフレームワークである。
単一のRGBイメージをデプロイ可能なポリシに変換して,4つの統一ステージに展開する。
DEXTERAは、生成ベースラインよりも優れた視覚的忠実度と3次元幾何的再構成を実現する。
- 参考スコア（独自算出の注目度）: 8.81402670203448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collecting real-world robot data for dexterous manipulation is costly and time-consuming. While high-fidelity physics simulators enable scalable data synthesis and policy learning, constructing deployment-ready digital twins manually remains labor-intensive, and residual visual, geometric, and dynamics gaps hinder reliable sim-to-real transfer. We present DEXTERA, an automated real-to-sim-to-real framework that transforms a single RGB image into deployable policies for dexterous manipulation across four unified stages: (1) single-image scene factorization into a static Gaussian background and interactive rigid or articulated assets with VLM-inferred physical parameters; (2) metric scene global alignment, object canonicalization, and morphology-balanced robot calibration; (3) scalable simulator task primitive construction, VR teleoperation, and object-centric trajectory synthesis; and (4) a shared multimodal policy interface supporting both imitation learning and reinforcement learning. We evaluate DEXTERA across 13 task-embodiment pairs, 2 dexterous robot platforms, and 6 policy architectures. Experimental results demonstrate that DEXTERA achieves superior visual fidelity and 3D geometric reconstruction compared to generative baselines, while cross-domain trajectory replays validate strong physical interaction consistency. Furthermore, simulation-only trained policies enable viable zero-shot real-robot deployment, while simulation-real co-training substantially improves mean physical policy success from 29.2% to 61.9% across diverse policy architectures.
- Abstract（参考訳）: 精巧な操作のために現実世界のロボットデータを収集するのは、費用と時間を要する。
高忠実度物理シミュレータは、スケーラブルなデータ合成とポリシー学習を可能にする一方で、手動で展開可能なデジタルツインの構築は、労働集約的であり、残余の視覚的、幾何学的、ダイナミックスギャップは、信頼性の高いsim-to-real転送を妨げる。
一つのRGBイメージをデキスタス操作のためのデプロイ可能なポリシに変換する,DEXTERAは,(1)静的ガウス背景への単一イメージシーンの分解と,VLM推論された物理パラメータによる対話的かつ厳密な,あるいは具体的資産への変換,(2)大域的アライメント,オブジェクトカノニカル化,形態的バランスの取れたロボットキャリブレーション,(3)スケーラブルなシミュレータータスクプリミティブ構築,VR遠隔操作,およびオブジェクト中心の軌道合成,(4)模倣学習と強化学習の両方をサポートする共有マルチモーダルポリシーインタフェースである。
13組のタスク・エボディメント・ペア,2台のデクスタラス・ロボット・プラットフォーム,6つのポリシー・アーキテクチャにまたがるDEXTERAを評価した。
実験により,DEXTERAは生成ベースラインよりも優れた視覚的忠実度と3次元幾何的再構成を実現し,クロスドメイントラジェクトリ・リプレイは強い物理的相互作用の整合性を示すことが示された。
さらに、シミュレーションのみに訓練されたポリシーは、ゼロショットのリアルタイムデプロイメントを可能にする一方で、シミュレーションと実際のコトレーニングは、様々なポリシーアーキテクチャにおいて、平均的な物理的ポリシーの成功を29.2%から61.9%に大幅に改善する。
関連論文リスト
- Function-Preserving Data Generation for Zero-Shot Real-to-Sim-to-Real Manipulation [14.858715829714518]
提案手法は, 震源軌道を遠隔保存することなく, 再建された資産から合成デモを生成する機能を有するリアルタイム・ストリーム・トゥ・リアルフレームワークを提案する。
本手法は,制約誘導メッシュ変形によるタスク関連オブジェクトのジオメトリを,物理的に一貫したタスクポーズと衝突プロキシの転送とともに拡張する。
論文 参考訳（メタデータ） (2026-09-16T08:13:40Z) - Enhancing Sim2Real Transfer for Torque-Controlled Robots through Real2Sim Dynamics Estimation and Reinforcement Learning [2.071516130824992]
シミュレーションから実世界ロボットへの強化学習ポリシーの移行は依然として大きな課題である。
トルク制御ロボットアームのSim2Real転送を改善するReal2Sim2Realパイプラインを提案する。
この研究は、安定かつ一般化可能なトルクベース強化学習ポリシーを実現するための正確な物理モデリングの有効性を強調した。
論文 参考訳（メタデータ） (2026-08-23T22:25:33Z) - RoboSnap: One-Shot Real-to-Sim Scene Generation for Generalizable Robot Learning and Evaluation [55.07260698542592]
我々は,1枚のRGB画像をシミュレーション可能なシーンに変換する,リアル・トゥ・シミュレート・フレームワークであるRoboSnapを紹介した。
DROIDシーンと実ロボットタスクの実験は、復元されたシーンでRoboSnapが信頼できる軌道再生を実現することを示している。
DROIDのリアルワールドシーン564から構築したリアル・トゥ・シムデータセットであるDROID-Simを紹介する。
論文 参考訳（メタデータ） (2026-07-07T18:19:10Z) - ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation [90.4702774169675]
本稿では,古典シミュレーションとニューラルシミュレーションを組み合わせた合成シミュレーションというハイブリッド手法を提案する。
提案手法では,少数の実世界のデータを活用するクローズドループ・リアル・シモン・リアル・データ拡張パイプラインを利用する。
我々はニューラルシミュレーターをトレーニングし、古典的なシミュレーションビデオを現実世界の表現に変換し、現実の環境で訓練されたポリシーモデルの精度を向上させる。
論文 参考訳（メタデータ） (2026-04-13T12:25:45Z) - D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。
提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。
これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-01T15:32:04Z) - Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。
実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。
次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
論文 参考訳（メタデータ） (2026-01-24T07:43:57Z) - Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer [59.02729900344616]
GPUを加速したフォトリアリスティックなシミュレーションは、ロボット学習のためのスケーラブルなデータ生成パスを開いた。
視覚に基づくヒューマノイドロコ操作のための教師-学生-ブートストラップ学習フレームワークを開発した。
これは、純粋なRGB知覚を用いた多様な調音ロコ操作が可能な初めてのヒューマノイド・シム・トゥ・リアル政策である。
論文 参考訳（メタデータ） (2025-11-30T20:07:13Z) - Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions [27.247431258140463]
本稿では,現実の映像からソフトボディのディジタルツインを構築するための,リアル・トゥ・シミュレート・ポリシー評価フレームワークを提案する。
我々は,ぬいぐるみのパッキング,ロープルーティング,Tブロックプッシュなど,代表的な変形可能な操作タスクに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-11-06T18:52:08Z) - VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion [25.440573256776133]
本稿では,視覚ナビゲーションと移動学習のための物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成する,リアル・ツー・シム・トゥ・リアルのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-03T17:15:05Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳（メタデータ） (2021-11-15T18:50:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。