論文の概要: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)
- arxiv url: http://arxiv.org/abs/2409.02920v1
- Date: Wed, 4 Sep 2024 17:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 16:37:56.138204
- Title: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)
- Title（参考訳）: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (早期バージョン)
- Authors: Yao Mu, Tianxing Chen, Shijia Peng, Zanxin Chen, Zeyu Gao, Yude Zou, Lunkai Lin, Zhiqiang Xie, Ping Luo,
- Abstract要約: 本稿では,実世界の遠隔操作データとデジタル双生児の合成データを組み合わせた新しいベンチマークデータセットであるRoboTwinを紹介する。
我々は、2D画像を詳細な3Dモデルに変換することによって、AI生成コンテンツを用いてデジタルツインを作成する革新的なアプローチを提案する。
主なコントリビューションは、1)RoboTwinベンチマークデータセット、2)効率的なリアルタイムシミュレーションパイプライン、3)エキスパートレベルの自動データ生成に言語モデルを使用することである。
- 参考スコア（独自算出の注目度）: 25.298789781487084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective collaboration of dual-arm robots and their tool use capabilities are increasingly important areas in the advancement of robotics. These skills play a significant role in expanding robots' ability to operate in diverse real-world environments. However, progress is impeded by the scarcity of specialized training data. This paper introduces RoboTwin, a novel benchmark dataset combining real-world teleoperated data with synthetic data from digital twins, designed for dual-arm robotic scenarios. Using the COBOT Magic platform, we have collected diverse data on tool usage and human-robot interaction. We present a innovative approach to creating digital twins using AI-generated content, transforming 2D images into detailed 3D models. Furthermore, we utilize large language models to generate expert-level training data and task-specific pose sequences oriented toward functionality. Our key contributions are: 1) the RoboTwin benchmark dataset, 2) an efficient real-to-simulation pipeline, and 3) the use of language models for automatic expert-level data generation. These advancements are designed to address the shortage of robotic training data, potentially accelerating the development of more capable and versatile robotic systems for a wide range of real-world applications. The project page is available at https://robotwin-benchmark.github.io/early-version/
- Abstract（参考訳）: デュアルアームロボットの効果的なコラボレーションとそのツール利用能力は、ロボット工学の発展においてますます重要な領域となっている。
これらのスキルは、さまざまな現実世界環境においてロボットの操作能力を拡大する上で重要な役割を担っている。
しかし、専門訓練データの不足により、進歩が妨げられている。
本稿では、実世界の遠隔操作データとデジタルツインの合成データを組み合わせた新しいベンチマークデータセットであるRoboTwinを紹介する。
COBOT Magicプラットフォームを使用して、ツールの使用状況や人間とロボットのインタラクションに関するさまざまなデータを収集しました。
我々は、2D画像を詳細な3Dモデルに変換することによって、AI生成コンテンツを用いてデジタルツインを作成する革新的なアプローチを提案する。
さらに,大規模言語モデルを用いて専門家レベルのトレーニングデータと,機能指向のタスク固有のポーズシーケンスを生成する。
私たちの主な貢献は次のとおりです。
1)RoboTwinベンチマークデータセット。
2)効率的な実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
3)エキスパートレベルの自動データ生成における言語モデルの利用。
これらの進歩は、ロボット訓練データの不足に対処するために設計されており、より有能で多用途なロボットシステムの開発を、幅広い現実世界の応用のために加速させる可能性がある。
プロジェクトページはhttps://robotwin-benchmark.github.io/early-version/で公開されている。
関連論文リスト
- $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。
我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
論文 参考訳（メタデータ） (2024-10-31T17:22:30Z) - RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation [23.554917579133576]
本稿では,ロボット拡散変換器(RDT)について述べる。
RDTは、マルチモーダリティを効果的に表現するために拡散モデルを構築し、スケーラブルトランスフォーマーの革新的な設計である。
さらに,様々なロボットの動作表現を統一する物理解釈可能な統一行動空間を導入する。
論文 参考訳（メタデータ） (2024-10-10T12:33:46Z) - Semantically Controllable Augmentations for Generalizable Robot Learning [40.89398799604755]
ロボット操作の現実に見えないシナリオへの一般化には、トレーニング中にさまざまなデータセットを公開する必要がある。
本稿では,意味制御可能な拡張とロボットデータセットの高速乗算のための生成的拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-02T05:25:34Z) - Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation [49.03165169369552]
さまざまな種類のロボットにまたがって単一のポリシーを訓練することによって、ロボット学習はより広範囲で多様なデータセットを活用することができる。
そこで我々はCrossFormerを提案する。CrossFormerはスケーラブルでフレキシブルなトランスフォーマーベースのポリシーで、どんな実施形態からでもデータを消費できる。
我々は、同じネットワークウェイトがシングルアームとデュアルアームの操作システム、車輪付きロボット、クワッドコプター、四足歩行など、非常に異なるロボットを制御できることを実証した。
論文 参考訳（メタデータ） (2024-08-21T17:57:51Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z) - AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。
われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。
実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
論文 参考訳（メタデータ） (2024-01-23T18:45:54Z) - Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。
この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。
本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
論文 参考訳（メタデータ） (2023-02-22T18:47:51Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳（メタデータ） (2022-12-13T18:55:15Z) - ExAug: Robot-Conditioned Navigation Policies via Geometric Experience
Augmentation [73.63212031963843]
本研究では,多様な環境における複数のデータセットから異なるロボットプラットフォームを体験するための新しいフレームワークであるExAugを提案する。
トレーニングされたポリシーは、屋内と屋外の障害物のある3つの異なるカメラを備えた2つの新しいロボットプラットフォームで評価される。
論文 参考訳（メタデータ） (2022-10-14T01:32:15Z) - Peer-Assisted Robotic Learning: A Data-Driven Collaborative Learning
Approach for Cloud Robotic Systems [26.01178673629753]
ロボット工学における Peer-Assisted Robotic Learning (PARL) は、認知心理学と教育におけるピアアシスト学習に着想を得たものである。
データとモデルは、セマンティックコンピューティングとローカルでトレーニングした後、ロボットによってクラウドに共有される。
最後に、この大きな共有データセットをクラウド上でローカルロボットに微調整する。
論文 参考訳（メタデータ） (2020-10-16T10:52:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。