論文の概要: RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2412.13877v2
• Date: Fri, 14 Feb 2025 14:32:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:44:49.149288
• Title: RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation
• Title（参考訳）: RoboMIND:ロボット操作のためのマルチエンボディメントインテリジェンス規範データベンチマーク
• Authors: Kun Wu, Chengkai Hou, Jiaming Liu, Zhengping Che, Xiaozhu Ju, Zhuqin Yang, Meng Li, Yinuo Zhao, Zhiyuan Xu, Guang Yang, Shichao Fan, Xinhua Wang, Fei Liao, Zhen Zhao, Guangyu Li, Zhao Jin, Lecheng Wang, Jilei Mao, Ning Liu, Pei Ren, Qiang Zhang, Yaoxu Lyu, Mengzhen Liu, Jingyang He, Yulin Luo, Zeyu Gao, Chenxuan Li, Chenyang Gu, Yankai Fu, Di Wu, Xingyu Wang, Sixiang Chen, Zhenyu Wang, Pengju An, Siyuan Qian, Shanghang Zhang, Jian Tang,
• Abstract要約: 96のオブジェクトクラスを含む479のタスクにわたる107kのデモトラジェクトリを含むデータセットであるRoboMINDを紹介した。 RoboMINDは人間の遠隔操作を通じて収集され、総合的なロボット関連情報を含んでいる。 私たちのデータセットには5万個の実世界の障害デモが含まれており、それぞれに詳細な原因が伴い、障害のリフレクションと修正を可能にしています。
• 参考スコア（独自算出の注目度）: 47.41571121843972
• License:
• Abstract: In this paper, we introduce RoboMIND (Multi-embodiment Intelligence Normative Data for Robot Manipulation), a dataset containing 107k demonstration trajectories across 479 diverse tasks involving 96 object classes. RoboMIND is collected through human teleoperation and encompasses comprehensive robotic-related information, including multi-view observations, proprioceptive robot state information, and linguistic task descriptions. To ensure data consistency and reliability for imitation learning, RoboMIND is built on a unified data collection platform and a standardized protocol, covering four distinct robotic embodiments: the Franka Emika Panda, the UR5e, the AgileX dual-arm robot, and a humanoid robot with dual dexterous hands. Our dataset also includes 5k real-world failure demonstrations, each accompanied by detailed causes, enabling failure reflection and correction during policy learning. Additionally, we created a digital twin environment in the Isaac Sim simulator, replicating the real-world tasks and assets, which facilitates the low-cost collection of additional training data and enables efficient evaluation. To demonstrate the quality and diversity of our dataset, we conducted extensive experiments using various imitation learning methods for single-task settings and state-of-the-art Vision-Language-Action (VLA) models for multi-task scenarios. By leveraging RoboMIND, the VLA models achieved high manipulation success rates and demonstrated strong generalization capabilities. To the best of our knowledge, RoboMIND is the largest multi-embodiment teleoperation dataset collected on a unified platform, providing large-scale and high-quality robotic training data. Our project is at https://x-humanoid-robomind.github.io/.
• Abstract（参考訳）: 本稿では,96のオブジェクトクラスを含む479のタスクに対して107kの実証軌道を含むデータセットであるRoboMIND(Multi-Embodiment Intelligence Normative Data for Robot Manipulation)を紹介する。 RoboMINDは、人間の遠隔操作を通じて収集され、多視点観察、受容型ロボットの状態情報、言語タスク記述を含む、包括的なロボット関連情報を含んでいる。 データの一貫性と信頼性を確保するため、RoboMINDは統一されたデータ収集プラットフォームと標準化されたプロトコル上に構築されており、Franka Emika Panda、UR5e、AgileXのデュアルアームロボット、そして両手を持つヒューマノイドロボットの4つの異なる実施形態を網羅している。 当社のデータセットには5万件の実世界の障害デモが含まれており、それぞれに詳細な原因が伴い、ポリシ学習中に障害のリフレクションと修正を可能にしています。 さらに、Isaac Simシミュレータにデジタルツイン環境を作成し、実世界のタスクとアセットを複製し、低コストでトレーニングデータを収集し、効率的な評価を可能にする。 データセットの品質と多様性を実証するために,シングルタスク設定のための様々な模倣学習手法と,マルチタスクシナリオのための最先端のVision-Language-Action(VLA)モデルを用いて広範な実験を行った。 RoboMINDを活用することで、VLAモデルは高い操作成功率を獲得し、強力な一般化能力を示した。 我々の知る限りでは、RoboMINDは統合プラットフォーム上で収集された最大の多身体遠隔操作データセットであり、大規模で高品質なロボットトレーニングデータを提供する。 私たちのプロジェクトはhttps://x-humanoid-robomind.github.io/です。

関連論文リスト

• Robo-MUTUAL: Robotic Multimodal Task Specification via Unimodal Learning [35.42091835421386]
  マルチモーダルタスク仕様はロボットの性能向上に不可欠である。 実データに豊富な一元的命令を活用することで,ロボットにマルチモーダルタスク仕様の学習を効果的に教えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-02T13:23:02Z)
• RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version) [25.298789781487084]
  RoboTwinは、多種多様な専門家データセットを生成するために、3D生成基盤モデルと大規模言語モデルを使用する生成デジタルツインフレームワークである。 具体的には、RoboTwinは単一の2D画像からさまざまなデジタルツインを生成し、現実的でインタラクティブなシナリオを生成する。 我々のフレームワークはシミュレーションデータと実世界のデータの両方で包括的なベンチマークを提供し、標準化された評価とシミュレーショントレーニングと実世界のパフォーマンスの整合性を向上させる。
  論文  参考訳（メタデータ） (2024-09-04T17:59:52Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
  本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。 私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。 本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-04T17:41:31Z)
• AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
  AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。 われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。 実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-01-23T18:45:54Z)
• Multi-task real-robot data with gaze attention for dual-arm fine manipulation [4.717749411286867]
  本稿では,2つのアームタスクや細かな操作を必要とするタスクを含む多種多様なオブジェクト操作のデータセットを紹介する。 224k エピソード (150時間, 1,104 言語命令) のデータセットを作成した。 このデータセットには、視覚的注意信号とデュアルアクションラベル、アクションを堅牢な到達軌道とオブジェクトとの正確な相互作用に分離する信号、堅牢で正確なオブジェクト操作を実現するための言語命令が含まれる。
  論文  参考訳（メタデータ） (2024-01-15T11:20:34Z)
• MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations [55.549956643032836]
  MimicGenは、少数の人間のデモから大規模でリッチなデータセットを自動的に合成するシステムである。 ロボットエージェントは,この生成したデータセットを模倣学習により効果的に訓練し,長期的・高精度なタスクにおいて高い性能を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:17:31Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。