論文の概要: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)

• arxiv url: http://arxiv.org/abs/2409.02920v1
• Date: Wed, 4 Sep 2024 17:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 16:37:56.138204
• Title: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)
• Title（参考訳）: RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (早期バージョン)
• Authors: Yao Mu, Tianxing Chen, Shijia Peng, Zanxin Chen, Zeyu Gao, Yude Zou, Lunkai Lin, Zhiqiang Xie, Ping Luo,
• Abstract要約: 本稿では,実世界の遠隔操作データとデジタル双生児の合成データを組み合わせた新しいベンチマークデータセットであるRoboTwinを紹介する。 我々は、2D画像を詳細な3Dモデルに変換することによって、AI生成コンテンツを用いてデジタルツインを作成する革新的なアプローチを提案する。 主なコントリビューションは、1)RoboTwinベンチマークデータセット、2)効率的なリアルタイムシミュレーションパイプライン、3)エキスパートレベルの自動データ生成に言語モデルを使用することである。
• 参考スコア（独自算出の注目度）: 25.298789781487084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective collaboration of dual-arm robots and their tool use capabilities are increasingly important areas in the advancement of robotics. These skills play a significant role in expanding robots' ability to operate in diverse real-world environments. However, progress is impeded by the scarcity of specialized training data. This paper introduces RoboTwin, a novel benchmark dataset combining real-world teleoperated data with synthetic data from digital twins, designed for dual-arm robotic scenarios. Using the COBOT Magic platform, we have collected diverse data on tool usage and human-robot interaction. We present a innovative approach to creating digital twins using AI-generated content, transforming 2D images into detailed 3D models. Furthermore, we utilize large language models to generate expert-level training data and task-specific pose sequences oriented toward functionality. Our key contributions are: 1) the RoboTwin benchmark dataset, 2) an efficient real-to-simulation pipeline, and 3) the use of language models for automatic expert-level data generation. These advancements are designed to address the shortage of robotic training data, potentially accelerating the development of more capable and versatile robotic systems for a wide range of real-world applications. The project page is available at https://robotwin-benchmark.github.io/early-version/
• Abstract（参考訳）: デュアルアームロボットの効果的なコラボレーションとそのツール利用能力は、ロボット工学の発展においてますます重要な領域となっている。 これらのスキルは、さまざまな現実世界環境においてロボットの操作能力を拡大する上で重要な役割を担っている。 しかし、専門訓練データの不足により、進歩が妨げられている。 本稿では、実世界の遠隔操作データとデジタルツインの合成データを組み合わせた新しいベンチマークデータセットであるRoboTwinを紹介する。 COBOT Magicプラットフォームを使用して、ツールの使用状況や人間とロボットのインタラクションに関するさまざまなデータを収集しました。 我々は、2D画像を詳細な3Dモデルに変換することによって、AI生成コンテンツを用いてデジタルツインを作成する革新的なアプローチを提案する。 さらに,大規模言語モデルを用いて専門家レベルのトレーニングデータと,機能指向のタスク固有のポーズシーケンスを生成する。 私たちの主な貢献は次のとおりです。 1)RoboTwinベンチマークデータセット。 2)効率的な実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実- 3)エキスパートレベルの自動データ生成における言語モデルの利用。 これらの進歩は、ロボット訓練データの不足に対処するために設計されており、より有能で多用途なロボットシステムの開発を、幅広い現実世界の応用のために加速させる可能性がある。 プロジェクトページはhttps://robotwin-benchmark.github.io/early-version/で公開されている。

関連論文リスト

• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
  AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。 われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。 実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-01-23T18:45:54Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
  ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。 この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。 本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T18:47:51Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)
• ExAug: Robot-Conditioned Navigation Policies via Geometric Experience Augmentation [73.63212031963843]
  本研究では,多様な環境における複数のデータセットから異なるロボットプラットフォームを体験するための新しいフレームワークであるExAugを提案する。 トレーニングされたポリシーは、屋内と屋外の障害物のある3つの異なるカメラを備えた2つの新しいロボットプラットフォームで評価される。
  論文  参考訳（メタデータ） (2022-10-14T01:32:15Z)
• GNM: A General Navigation Model to Drive Any Robot [67.40225397212717]
  視覚に基づくナビゲーションのための一般的な目標条件付きモデルは、多くの異なるが構造的に類似したロボットから得られたデータに基づいて訓練することができる。 ロボット間の効率的なデータ共有に必要な設計決定について分析する。 我々は、訓練されたGNMを、下四極子を含む様々な新しいロボットに展開する。
  論文  参考訳（メタデータ） (2022-10-07T07:26:41Z)
• Peer-Assisted Robotic Learning: A Data-Driven Collaborative Learning Approach for Cloud Robotic Systems [26.01178673629753]
  ロボット工学における Peer-Assisted Robotic Learning (PARL) は、認知心理学と教育におけるピアアシスト学習に着想を得たものである。 データとモデルは、セマンティックコンピューティングとローカルでトレーニングした後、ロボットによってクラウドに共有される。 最後に、この大きな共有データセットをクラウド上でローカルロボットに微調整する。
  論文  参考訳（メタデータ） (2020-10-16T10:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。