論文の概要: RM-PRT: Realistic Robotic Manipulation Simulator and Benchmark with
Progressive Reasoning Tasks
- arxiv url: http://arxiv.org/abs/2306.11335v2
- Date: Wed, 21 Jun 2023 06:56:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 10:27:59.544472
- Title: RM-PRT: Realistic Robotic Manipulation Simulator and Benchmark with
Progressive Reasoning Tasks
- Title(参考訳): rm-prt: ロボット操作シミュレータとプログレッシブ推論タスクを用いたベンチマーク
- Authors: Pengzhen Ren, Kaidong Zhang, Hetao Zheng, Zixuan Li, Yuhang Wen,
Fengda Zhu, Mas Ma, Xiaodan Liang
- Abstract要約: 本稿では,現実的なロボット操作シミュレータを導入し,Progressive Reasoning Tasksベンチマークを用いたロボットマニピュレーションを構築する。
RM-PRTベンチマークは、Unreal Engine 5をベースにした、新しい高忠実なデジタルツインシーンを構築している。
本研究では,4つの自然言語理解タスクを段階的推論レベルで設定し,自然言語の指示を理解するロボットの能力を評価する。
- 参考スコア(独自算出の注目度): 61.943889635281344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the advent of pre-trained large-scale language models (LLMs) like
ChatGPT and GPT-4 have significantly advanced the machine's natural language
understanding capabilities. This breakthrough has allowed us to seamlessly
integrate these open-source LLMs into a unified robot simulator environment to
help robots accurately understand and execute human natural language
instructions. To this end, in this work, we introduce a realistic robotic
manipulation simulator and build a Robotic Manipulation with Progressive
Reasoning Tasks (RM-PRT) benchmark on this basis. Specifically, the RM-PRT
benchmark builds a new high-fidelity digital twin scene based on Unreal Engine
5, which includes 782 categories, 2023 objects, and 15K natural language
instructions generated by ChatGPT for a detailed evaluation of robot
manipulation. We propose a general pipeline for the RM-PRT benchmark that takes
as input multimodal prompts containing natural language instructions and
automatically outputs actions containing the movement and position transitions.
We set four natural language understanding tasks with progressive reasoning
levels and evaluate the robot's ability to understand natural language
instructions in two modes of adsorption and grasping. In addition, we also
conduct a comprehensive analysis and comparison of the differences and
advantages of 10 different LLMs in instruction understanding and generation
quality. We hope the new simulator and benchmark will facilitate future
research on language-guided robotic manipulation. Project website:
https://necolizer.github.io/RM-PRT/ .
- Abstract(参考訳): 近年、ChatGPTやGPT-4のような訓練済みの大規模言語モデル(LLM)が出現し、マシンの自然言語理解能力が大幅に向上した。
このブレークスルーにより、これらのオープンソースのLLMを統合型ロボットシミュレータ環境にシームレスに統合し、ロボットが人間の自然言語命令を正確に理解し実行できるようにする。
この目的のために,本研究では,現実的なロボット操作シミュレータを導入し,プログレッシブ推論タスクを用いたロボットマニピュレーション(RM-PRT)ベンチマークを構築する。
具体的には、RM-PRTベンチマークは、ロボット操作の詳細な評価のためにChatGPTが生成した82のカテゴリ、2023のオブジェクト、および15Kの自然言語命令を含む、Unreal Engine 5に基づく新しい高忠実なデジタルツインシーンを構築する。
本稿では,自然言語命令を含むマルチモーダルプロンプトを入力とし,移動と位置遷移を含む動作を自動的に出力するRM-PRTベンチマークの汎用パイプラインを提案する。
本研究では,4つの自然言語理解タスクを段階的推論レベルで設定し,ロボットが自然言語の指示を理解する能力を評価する。
さらに、命令理解と生成品質における10種類のLLMの違いと利点を総合的に分析し、比較する。
新しいシミュレータとベンチマークにより、言語誘導型ロボット操作の今後の研究が促進されることを願っている。
プロジェクトWebサイト: https://necolizer.github.io/RM-PRT/。
関連論文リスト
- Towards Generalizable Zero-Shot Manipulation via Translating Human
Interaction Plans [58.27029676638521]
我々は、人間の受動的ビデオが、そのようなジェネラリストロボットを学習するための豊富なデータ源であることを示す。
我々は、シーンの現在の画像とゴール画像から将来の手やオブジェクトの設定を予測する人間の計画予測器を学習する。
学習システムは、40個のオブジェクトに一般化する16以上の操作スキルを実現できることを示す。
論文 参考訳(メタデータ) (2023-12-01T18:54:12Z) - Exploring Visual Pre-training for Robot Manipulation: Datasets, Models
and Methods [14.780597545674157]
本稿では,3つの基本的視点から,視覚的事前学習がロボット操作作業に及ぼす影響について検討する。
自己教師型学習と教師型学習を組み合わせた視覚的事前学習方式Vi-PRoMを提案する。
論文 参考訳(メタデータ) (2023-08-07T14:24:52Z) - Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。
これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。
私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
論文 参考訳(メタデータ) (2023-04-17T17:59:34Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。
我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。
実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
論文 参考訳(メタデータ) (2023-03-02T01:55:10Z) - Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。
この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。
本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
論文 参考訳(メタデータ) (2023-02-22T18:47:51Z) - Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。
我々の枠組みは、人間の手の動きを予測することに基づいている。
トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
論文 参考訳(メタデータ) (2023-02-03T21:39:52Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳(メタデータ) (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。