論文の概要: RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation
- arxiv url: http://arxiv.org/abs/2412.13877v1
- Date: Wed, 18 Dec 2024 14:17:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 13:23:25.625855
- Title: RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation
- Title(参考訳): RoboMIND:ロボット操作のためのマルチエンボディメントインテリジェンス規範データベンチマーク
- Authors: Kun Wu, Chengkai Hou, Jiaming Liu, Zhengping Che, Xiaozhu Ju, Zhuqin Yang, Meng Li, Yinuo Zhao, Zhiyuan Xu, Guang Yang, Zhen Zhao, Guangyu Li, Zhao Jin, Lecheng Wang, Jilei Mao, Xinhua Wang, Shichao Fan, Ning Liu, Pei Ren, Qiang Zhang, Yaoxu Lyu, Mengzhen Liu, Jingyang He, Yulin Luo, Zeyu Gao, Chenxuan Li, Chenyang Gu, Yankai Fu, Di Wu, Xingyu Wang, Sixiang Chen, Zhenyu Wang, Pengju An, Siyuan Qian, Shanghang Zhang, Jian Tang,
- Abstract要約: 我々はRoboMIND (Multi-Embodiment Intelligence Normative Data for Robot manipulate)を導入し、279の多様なタスクにまたがる実世界55万の実証軌道を特徴とする。
RoboMINDは人間の遠隔操作を通じて収集され、総合的なロボット関連情報を含んでいる。
複数の次元にわたるRoboMINDの定量的および定性的な分析を提供し、データセットの多様性に関する洞察を提供する。
- 参考スコア(独自算出の注目度): 47.74639584379784
- License:
- Abstract: Developing robust and general-purpose robotic manipulation policies is a key goal in the field of robotics. To achieve effective generalization, it is essential to construct comprehensive datasets that encompass a large number of demonstration trajectories and diverse tasks. Unlike vision or language data that can be collected from the Internet, robotic datasets require detailed observations and manipulation actions, necessitating significant investment in hardware-software infrastructure and human labor. While existing works have focused on assembling various individual robot datasets, there remains a lack of a unified data collection standard and insufficient diversity in tasks, scenarios, and robot types. In this paper, we introduce RoboMIND (Multi-embodiment Intelligence Normative Data for Robot manipulation), featuring 55k real-world demonstration trajectories across 279 diverse tasks involving 61 different object classes. RoboMIND is collected through human teleoperation and encompasses comprehensive robotic-related information, including multi-view RGB-D images, proprioceptive robot state information, end effector details, and linguistic task descriptions. To ensure dataset consistency and reliability during policy learning, RoboMIND is built on a unified data collection platform and standardized protocol, covering four distinct robotic embodiments. We provide a thorough quantitative and qualitative analysis of RoboMIND across multiple dimensions, offering detailed insights into the diversity of our datasets. In our experiments, we conduct extensive real-world testing with four state-of-the-art imitation learning methods, demonstrating that training with RoboMIND data results in a high manipulation success rate and strong generalization. Our project is at https://x-humanoid-robomind.github.io/.
- Abstract(参考訳): 堅牢で汎用的なロボット操作ポリシーを開発することは、ロボット工学の分野で重要な目標である。
効率的な一般化を実現するためには、多数の実証軌道と多様なタスクを含む包括的なデータセットを構築することが不可欠である。
インターネットから収集できる視覚データや言語データとは異なり、ロボットデータセットは詳細な観察と操作行動を必要とし、ハードウェア・ソフトウェアインフラと人的労働に多大な投資を必要とする。
既存の研究は、個々のロボットデータセットの組み立てに重点を置いているが、統一されたデータ収集標準が欠如しており、タスク、シナリオ、ロボットタイプの多様性が不十分である。
本稿では,ロボット操作のためのマルチ・エボディメント・インテリジェンス・ノルミティブ・データ(Multi-Embodiment Intelligence Normative Data for Robot manipulate)を紹介する。
RoboMINDは人間の遠隔操作を通じて収集され、多視点RGB-D画像、受容型ロボットの状態情報、エンドエフェクタの詳細、言語タスク記述など、ロボット関連の包括的な情報を含んでいる。
ポリシー学習中にデータセットの一貫性と信頼性を確保するため、RoboMINDは4つの異なるロボティックエンボディメントをカバーする統一データ収集プラットフォームと標準化プロトコル上に構築されている。
複数の次元にわたるRoboMINDの詳細な定量的および定性的な分析を提供し、データセットの多様性に関する詳細な洞察を提供する。
実験では、4つの最先端の模倣学習手法を用いて大規模な実世界のテストを行い、RoboMINDデータによるトレーニングが高い操作成功率と強力な一般化をもたらすことを示した。
私たちのプロジェクトはhttps://x-humanoid-robomind.github.io/です。
関連論文リスト
- Robo-MUTUAL: Robotic Multimodal Task Specification via Unimodal Learning [35.42091835421386]
マルチモーダルタスク仕様はロボットの性能向上に不可欠である。
実データに豊富な一元的命令を活用することで,ロボットにマルチモーダルタスク仕様の学習を効果的に教えることができることを示す。
論文 参考訳(メタデータ) (2024-10-02T13:23:02Z) - Multi-task real-robot data with gaze attention for dual-arm fine manipulation [4.717749411286867]
本稿では,2つのアームタスクや細かな操作を必要とするタスクを含む多種多様なオブジェクト操作のデータセットを紹介する。
224k エピソード (150時間, 1,104 言語命令) のデータセットを作成した。
このデータセットには、視覚的注意信号とデュアルアクションラベル、アクションを堅牢な到達軌道とオブジェクトとの正確な相互作用に分離する信号、堅牢で正確なオブジェクト操作を実現するための言語命令が含まれる。
論文 参考訳(メタデータ) (2024-01-15T11:20:34Z) - Polybot: Training One Policy Across Robots While Embracing Variability [70.74462430582163]
複数のロボットプラットフォームにデプロイするための単一のポリシーをトレーニングするための重要な設計決定セットを提案する。
われわれのフレームワークは、まず、手首カメラを利用して、我々のポリシーの観察空間と行動空間を具体化して調整する。
6つのタスクと3つのロボットにまたがる60時間以上のデータセットを用いて,関節の形状や大きさの異なるデータセットの評価を行った。
論文 参考訳(メタデータ) (2023-07-07T17:21:16Z) - RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in
One-Shot [56.130215236125224]
オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。
単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。
本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
論文 参考訳(メタデータ) (2023-07-02T15:33:31Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳(メタデータ) (2022-12-13T18:55:15Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳(メタデータ) (2021-12-29T17:23:24Z) - Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。
本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。
我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
論文 参考訳(メタデータ) (2021-09-19T18:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。