論文の概要: RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2412.13877v1
• Date: Wed, 18 Dec 2024 14:17:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:23:25.625855
• Title: RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation
• Title（参考訳）: RoboMIND:ロボット操作のためのマルチエンボディメントインテリジェンス規範データベンチマーク
• Authors: Kun Wu, Chengkai Hou, Jiaming Liu, Zhengping Che, Xiaozhu Ju, Zhuqin Yang, Meng Li, Yinuo Zhao, Zhiyuan Xu, Guang Yang, Zhen Zhao, Guangyu Li, Zhao Jin, Lecheng Wang, Jilei Mao, Xinhua Wang, Shichao Fan, Ning Liu, Pei Ren, Qiang Zhang, Yaoxu Lyu, Mengzhen Liu, Jingyang He, Yulin Luo, Zeyu Gao, Chenxuan Li, Chenyang Gu, Yankai Fu, Di Wu, Xingyu Wang, Sixiang Chen, Zhenyu Wang, Pengju An, Siyuan Qian, Shanghang Zhang, Jian Tang,
• Abstract要約: 我々はRoboMIND (Multi-Embodiment Intelligence Normative Data for Robot manipulate)を導入し、279の多様なタスクにまたがる実世界55万の実証軌道を特徴とする。 RoboMINDは人間の遠隔操作を通じて収集され、総合的なロボット関連情報を含んでいる。 複数の次元にわたるRoboMINDの定量的および定性的な分析を提供し、データセットの多様性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 47.74639584379784
• License:
• Abstract: Developing robust and general-purpose robotic manipulation policies is a key goal in the field of robotics. To achieve effective generalization, it is essential to construct comprehensive datasets that encompass a large number of demonstration trajectories and diverse tasks. Unlike vision or language data that can be collected from the Internet, robotic datasets require detailed observations and manipulation actions, necessitating significant investment in hardware-software infrastructure and human labor. While existing works have focused on assembling various individual robot datasets, there remains a lack of a unified data collection standard and insufficient diversity in tasks, scenarios, and robot types. In this paper, we introduce RoboMIND (Multi-embodiment Intelligence Normative Data for Robot manipulation), featuring 55k real-world demonstration trajectories across 279 diverse tasks involving 61 different object classes. RoboMIND is collected through human teleoperation and encompasses comprehensive robotic-related information, including multi-view RGB-D images, proprioceptive robot state information, end effector details, and linguistic task descriptions. To ensure dataset consistency and reliability during policy learning, RoboMIND is built on a unified data collection platform and standardized protocol, covering four distinct robotic embodiments. We provide a thorough quantitative and qualitative analysis of RoboMIND across multiple dimensions, offering detailed insights into the diversity of our datasets. In our experiments, we conduct extensive real-world testing with four state-of-the-art imitation learning methods, demonstrating that training with RoboMIND data results in a high manipulation success rate and strong generalization. Our project is at https://x-humanoid-robomind.github.io/.
• Abstract（参考訳）: 堅牢で汎用的なロボット操作ポリシーを開発することは、ロボット工学の分野で重要な目標である。 効率的な一般化を実現するためには、多数の実証軌道と多様なタスクを含む包括的なデータセットを構築することが不可欠である。 インターネットから収集できる視覚データや言語データとは異なり、ロボットデータセットは詳細な観察と操作行動を必要とし、ハードウェア・ソフトウェアインフラと人的労働に多大な投資を必要とする。 既存の研究は、個々のロボットデータセットの組み立てに重点を置いているが、統一されたデータ収集標準が欠如しており、タスク、シナリオ、ロボットタイプの多様性が不十分である。 本稿では,ロボット操作のためのマルチ・エボディメント・インテリジェンス・ノルミティブ・データ(Multi-Embodiment Intelligence Normative Data for Robot manipulate)を紹介する。 RoboMINDは人間の遠隔操作を通じて収集され、多視点RGB-D画像、受容型ロボットの状態情報、エンドエフェクタの詳細、言語タスク記述など、ロボット関連の包括的な情報を含んでいる。 ポリシー学習中にデータセットの一貫性と信頼性を確保するため、RoboMINDは4つの異なるロボティックエンボディメントをカバーする統一データ収集プラットフォームと標準化プロトコル上に構築されている。 複数の次元にわたるRoboMINDの詳細な定量的および定性的な分析を提供し、データセットの多様性に関する詳細な洞察を提供する。 実験では、4つの最先端の模倣学習手法を用いて大規模な実世界のテストを行い、RoboMINDデータによるトレーニングが高い操作成功率と強力な一般化をもたらすことを示した。 私たちのプロジェクトはhttps://x-humanoid-robomind.github.io/です。

関連論文リスト

• Robo-MUTUAL: Robotic Multimodal Task Specification via Unimodal Learning [35.42091835421386]
  マルチモーダルタスク仕様はロボットの性能向上に不可欠である。 実データに豊富な一元的命令を活用することで,ロボットにマルチモーダルタスク仕様の学習を効果的に教えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-02T13:23:02Z)
• RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version) [25.298789781487084]
  RoboTwinは、多種多様な専門家データセットを生成するために、3D生成基盤モデルと大規模言語モデルを使用する生成デジタルツインフレームワークである。 具体的には、RoboTwinは単一の2D画像からさまざまなデジタルツインを生成し、現実的でインタラクティブなシナリオを生成する。 我々のフレームワークはシミュレーションデータと実世界のデータの両方で包括的なベンチマークを提供し、標準化された評価とシミュレーショントレーニングと実世界のパフォーマンスの整合性を向上させる。
  論文  参考訳（メタデータ） (2024-09-04T17:59:52Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
  本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。 私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。 本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-04T17:41:31Z)
• AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
  AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。 われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。 実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-01-23T18:45:54Z)
• Multi-task real-robot data with gaze attention for dual-arm fine manipulation [4.717749411286867]
  本稿では,2つのアームタスクや細かな操作を必要とするタスクを含む多種多様なオブジェクト操作のデータセットを紹介する。 224k エピソード (150時間, 1,104 言語命令) のデータセットを作成した。 このデータセットには、視覚的注意信号とデュアルアクションラベル、アクションを堅牢な到達軌道とオブジェクトとの正確な相互作用に分離する信号、堅牢で正確なオブジェクト操作を実現するための言語命令が含まれる。
  論文  参考訳（メタデータ） (2024-01-15T11:20:34Z)
• MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations [55.549956643032836]
  MimicGenは、少数の人間のデモから大規模でリッチなデータセットを自動的に合成するシステムである。 ロボットエージェントは,この生成したデータセットを模倣学習により効果的に訓練し,長期的・高精度なタスクにおいて高い性能を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:17:31Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。