論文の概要: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)
- arxiv url: http://arxiv.org/abs/2409.02920v1
- Date: Wed, 4 Sep 2024 17:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 16:37:56.138204
- Title: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)
- Title（参考訳）: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (早期バージョン)
- Authors: Yao Mu, Tianxing Chen, Shijia Peng, Zanxin Chen, Zeyu Gao, Yude Zou, Lunkai Lin, Zhiqiang Xie, Ping Luo,
- Abstract要約: 本稿では,実世界の遠隔操作データとデジタル双生児の合成データを組み合わせた新しいベンチマークデータセットであるRoboTwinを紹介する。
我々は、2D画像を詳細な3Dモデルに変換することによって、AI生成コンテンツを用いてデジタルツインを作成する革新的なアプローチを提案する。
主なコントリビューションは、1)RoboTwinベンチマークデータセット、2)効率的なリアルタイムシミュレーションパイプライン、3)エキスパートレベルの自動データ生成に言語モデルを使用することである。
- 参考スコア（独自算出の注目度）: 25.298789781487084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective collaboration of dual-arm robots and their tool use capabilities are increasingly important areas in the advancement of robotics. These skills play a significant role in expanding robots' ability to operate in diverse real-world environments. However, progress is impeded by the scarcity of specialized training data. This paper introduces RoboTwin, a novel benchmark dataset combining real-world teleoperated data with synthetic data from digital twins, designed for dual-arm robotic scenarios. Using the COBOT Magic platform, we have collected diverse data on tool usage and human-robot interaction. We present a innovative approach to creating digital twins using AI-generated content, transforming 2D images into detailed 3D models. Furthermore, we utilize large language models to generate expert-level training data and task-specific pose sequences oriented toward functionality. Our key contributions are: 1) the RoboTwin benchmark dataset, 2) an efficient real-to-simulation pipeline, and 3) the use of language models for automatic expert-level data generation. These advancements are designed to address the shortage of robotic training data, potentially accelerating the development of more capable and versatile robotic systems for a wide range of real-world applications. The project page is available at https://robotwin-benchmark.github.io/early-version/
- Abstract（参考訳）: デュアルアームロボットの効果的なコラボレーションとそのツール利用能力は、ロボット工学の発展においてますます重要な領域となっている。
これらのスキルは、さまざまな現実世界環境においてロボットの操作能力を拡大する上で重要な役割を担っている。
しかし、専門訓練データの不足により、進歩が妨げられている。
本稿では、実世界の遠隔操作データとデジタルツインの合成データを組み合わせた新しいベンチマークデータセットであるRoboTwinを紹介する。
COBOT Magicプラットフォームを使用して、ツールの使用状況や人間とロボットのインタラクションに関するさまざまなデータを収集しました。
我々は、2D画像を詳細な3Dモデルに変換することによって、AI生成コンテンツを用いてデジタルツインを作成する革新的なアプローチを提案する。
さらに,大規模言語モデルを用いて専門家レベルのトレーニングデータと,機能指向のタスク固有のポーズシーケンスを生成する。
私たちの主な貢献は次のとおりです。
1)RoboTwinベンチマークデータセット。
2)効率的な実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
3)エキスパートレベルの自動データ生成における言語モデルの利用。
これらの進歩は、ロボット訓練データの不足に対処するために設計されており、より有能で多用途なロボットシステムの開発を、幅広い現実世界の応用のために加速させる可能性がある。
プロジェクトページはhttps://robotwin-benchmark.github.io/early-version/で公開されている。
関連論文リスト
- RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation [47.41571121843972]
96のオブジェクトクラスを含む479のタスクにわたる107kのデモトラジェクトリを含むデータセットであるRoboMINDを紹介した。
RoboMINDは人間の遠隔操作を通じて収集され、総合的なロボット関連情報を含んでいる。
私たちのデータセットには5万個の実世界の障害デモが含まれており、それぞれに詳細な原因が伴い、障害のリフレクションと修正を可能にしています。
論文 参考訳（メタデータ） (2024-12-18T14:17:16Z) - RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。
RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。
我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
論文 参考訳（メタデータ） (2024-03-24T05:55:39Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳（メタデータ） (2022-12-13T18:55:15Z) - PACT: Perception-Action Causal Transformer for Autoregressive Robotics
Pre-Training [25.50131893785007]
本研究は,ロボットにおける複数のタスクの出発点として機能する汎用表現を事前学習するためのパラダイムを導入する。
本稿では,ロボットデータから直接表現を自己管理的に構築することを目的として,PACT(Perception-Action Causal Transformer)を提案する。
より大規模な事前学習モデル上に小さなタスク特化ネットワークを微調整すると、同時に1つのモデルをスクラッチからトレーニングするのに比べ、性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-09-22T16:20:17Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳（メタデータ） (2021-12-29T17:23:24Z) - V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated
Objects [51.79035249464852]
本稿では,音声による物体のマルチアーム操作を学習するためのフレームワークを提案する。
本フレームワークは,各ロボットアームの剛部上の接触点分布を学習する変動生成モデルを含む。
論文 参考訳（メタデータ） (2021-11-07T02:31:09Z) - robo-gym -- An Open Source Toolkit for Distributed Deep Reinforcement
Learning on Real and Simulated Robots [0.5161531917413708]
本稿では,ロボットによる深層強化学習を向上するためのオープンソースのツールキット,robo-gymを提案する。
シミュレーションにおけるトレーニングからロボットへのシームレスな移動を可能にするシミュレーション環境と実環境の統一的なセットアップを実証する。
産業用ロボットを特徴とする2つの実世界アプリケーションを用いて,本フレームワークの能力と有効性を示す。
論文 参考訳（メタデータ） (2020-07-06T13:51:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。