論文の概要: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins
- arxiv url: http://arxiv.org/abs/2504.13059v1
- Date: Thu, 17 Apr 2025 16:14:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-25 17:50:40.997729
- Title: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins
- Title（参考訳）: RoboTwin: ジェネレーティブデジタルツインを用いたデュアルアームロボットベンチマーク
- Authors: Yao Mu, Tianxing Chen, Zanxin Chen, Shijia Peng, Zhiqian Lan, Zeyu Gao, Zhixuan Liang, Qiaojun Yu, Yude Zou, Mingkun Xu, Lunkai Lin, Zhiqiang Xie, Mingyu Ding, Ping Luo,
- Abstract要約: RoboTwinは、多種多様な専門家データセットを生成するために、3D生成基盤モデルと大規模言語モデルを使用する生成デジタルツインフレームワークである。
具体的には、RoboTwinは単一の2D画像からさまざまなデジタルツインを生成し、現実的でインタラクティブなシナリオを生成する。
我々のフレームワークはシミュレーションデータと実世界のデータの両方で包括的なベンチマークを提供し、標準化された評価とシミュレーショントレーニングと実世界のパフォーマンスの整合性を向上させる。
- 参考スコア（独自算出の注目度）: 33.78621017138685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the rapidly advancing field of robotics, dual-arm coordination and complex object manipulation are essential capabilities for developing advanced autonomous systems. However, the scarcity of diverse, high-quality demonstration data and real-world-aligned evaluation benchmarks severely limits such development. To address this, we introduce RoboTwin, a generative digital twin framework that uses 3D generative foundation models and large language models to produce diverse expert datasets and provide a real-world-aligned evaluation platform for dual-arm robotic tasks. Specifically, RoboTwin creates varied digital twins of objects from single 2D images, generating realistic and interactive scenarios. It also introduces a spatial relation-aware code generation framework that combines object annotations with large language models to break down tasks, determine spatial constraints, and generate precise robotic movement code. Our framework offers a comprehensive benchmark with both simulated and real-world data, enabling standardized evaluation and better alignment between simulated training and real-world performance. We validated our approach using the open-source COBOT Magic Robot platform. Policies pre-trained on RoboTwin-generated data and fine-tuned with limited real-world samples demonstrate significant potential for enhancing dual-arm robotic manipulation systems by improving success rates by over 70% for single-arm tasks and over 40% for dual-arm tasks compared to models trained solely on real-world data.
- Abstract（参考訳）: ロボット工学の急速に進歩する分野において、双腕協調と複雑な物体操作は、先進的な自律システムを開発する上で不可欠な能力である。
しかし、多種多様な高品質の実証データと実世界対応評価ベンチマークの不足は、そのような開発を著しく制限する。
この問題を解決するために,3次元生成基盤モデルと大規模言語モデルを用いて,多様な専門家データセットを生成し,デュアルアームロボットタスクのための実世界整合性評価プラットフォームを提供する,ジェネレーティブなディジタルツインフレームワークであるRoboTwinを紹介した。
具体的には、RoboTwinは単一の2D画像からさまざまなデジタルツインを生成し、現実的でインタラクティブなシナリオを生成する。
また、オブジェクトアノテーションと大きな言語モデルを組み合わせた空間的関係認識コード生成フレームワークを導入し、タスクを分解し、空間的制約を決定し、正確なロボット運動コードを生成する。
我々のフレームワークはシミュレーションデータと実世界のデータの両方で包括的なベンチマークを提供し、標準化された評価とシミュレーショントレーニングと実世界のパフォーマンスの整合性を向上させる。
我々は,オープンソースのCOBOT Magic Robotプラットフォームを用いて,我々のアプローチを検証する。
RoboTwinの生成したデータに基づいて事前訓練され、限られた実世界のサンプルで微調整されたポリシーは、実世界のデータでのみ訓練されたモデルと比較して、シングルアームタスクの成功率を70%以上、デュアルアームタスクの40%以上改善することで、デュアルアームロボット操作システムを強化する大きな可能性を示している。
関連論文リスト
- RoboGrasp: A Universal Grasping Policy for Robust Robotic Control [8.189496387470726]
RoboGraspは、トレーニング済みの把握検出モデルとロボット学習を統合する、普遍的な把握ポリシーフレームワークである。
把握精度、安定性、一般化性を大幅に向上させ、数ショットの学習と把握ボックスのプロンプトタスクで最大34%の成功率を達成する。
論文 参考訳（メタデータ） (2025-02-05T11:04:41Z) - RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation [47.41571121843972]
96のオブジェクトクラスを含む479のタスクにわたる107kのデモトラジェクトリを含むデータセットであるRoboMINDを紹介した。
RoboMINDは人間の遠隔操作を通じて収集され、総合的なロボット関連情報を含んでいる。
私たちのデータセットには5万個の実世界の障害デモが含まれており、それぞれに詳細な原因が伴い、障害のリフレクションと修正を可能にしています。
論文 参考訳（メタデータ） (2024-12-18T14:17:16Z) - RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version) [25.298789781487084]
RoboTwinは、多種多様な専門家データセットを生成するために、3D生成基盤モデルと大規模言語モデルを使用する生成デジタルツインフレームワークである。
具体的には、RoboTwinは単一の2D画像からさまざまなデジタルツインを生成し、現実的でインタラクティブなシナリオを生成する。
我々のフレームワークはシミュレーションデータと実世界のデータの両方で包括的なベンチマークを提供し、標準化された評価とシミュレーショントレーニングと実世界のパフォーマンスの整合性を向上させる。
論文 参考訳（メタデータ） (2024-09-04T17:59:52Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳（メタデータ） (2023-06-09T07:22:12Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳（メタデータ） (2022-12-13T18:55:15Z) - PACT: Perception-Action Causal Transformer for Autoregressive Robotics
Pre-Training [25.50131893785007]
本研究は,ロボットにおける複数のタスクの出発点として機能する汎用表現を事前学習するためのパラダイムを導入する。
本稿では,ロボットデータから直接表現を自己管理的に構築することを目的として,PACT(Perception-Action Causal Transformer)を提案する。
より大規模な事前学習モデル上に小さなタスク特化ネットワークを微調整すると、同時に1つのモデルをスクラッチからトレーニングするのに比べ、性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-09-22T16:20:17Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳（メタデータ） (2021-12-29T17:23:24Z) - V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated
Objects [51.79035249464852]
本稿では,音声による物体のマルチアーム操作を学習するためのフレームワークを提案する。
本フレームワークは,各ロボットアームの剛部上の接触点分布を学習する変動生成モデルを含む。
論文 参考訳（メタデータ） (2021-11-07T02:31:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。