論文の概要: Towards Generalist Robots: A Promising Paradigm via Generative
Simulation
- arxiv url: http://arxiv.org/abs/2305.10455v3
- Date: Wed, 30 Aug 2023 00:05:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 17:14:04.980446
- Title: Towards Generalist Robots: A Promising Paradigm via Generative
Simulation
- Title(参考訳): ジェネラリストロボットに向けて:生成シミュレーションによる有望なパラダイム
- Authors: Zhou Xian, Theophile Gervet, Zhenjia Xu, Yi-Ling Qiao, Tsun-Hsuan
Wang, Yian Wang
- Abstract要約: この文書は、一般のロボットへの潜在的な経路に対する著者のビジョンを概説する位置紙として機能する。
著者らは、提案されたパラダイムは、ロボット工学研究の長年の目標を達成するための、実現可能な道であると信じている。
- 参考スコア(独自算出の注目度): 18.704506851738365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This document serves as a position paper that outlines the authors' vision
for a potential pathway towards generalist robots. The purpose of this document
is to share the excitement of the authors with the community and highlight a
promising research direction in robotics and AI. The authors believe the
proposed paradigm is a feasible path towards accomplishing the long-standing
goal of robotics research: deploying robots, or embodied AI agents more
broadly, in various non-factory real-world settings to perform diverse tasks.
This document presents a specific idea for mining knowledge in the latest
large-scale foundation models for robotics research. Instead of directly using
or adapting these models to produce low-level policies and actions, it
advocates for a fully automated generative pipeline (termed as generative
simulation), which uses these models to generate diversified tasks, scenes and
training supervisions at scale, thereby scaling up low-level skill learning and
ultimately leading to a foundation model for robotics that empowers generalist
robots. The authors are actively pursuing this direction, but in the meantime,
they recognize that the ambitious goal of building generalist robots with
large-scale policy training demands significant resources such as computing
power and hardware, and research groups in academia alone may face severe
resource constraints in implementing the entire vision. Therefore, the authors
believe sharing their thoughts at this early stage could foster discussions,
attract interest towards the proposed pathway and related topics from industry
groups, and potentially spur significant technical advancements in the field.
- Abstract(参考訳): この文書は、一般のロボットへの潜在的な経路に対する著者のビジョンを概説する位置紙として機能する。
この文書の目的は、著者たちの興奮をコミュニティと共有し、ロボット工学とAIにおける有望な研究方向性を明らかにすることである。
著者らは、提案されたパラダイムは、ロボット研究の長年の目標を達成するための、実現可能な道であると信じている。
この文書は、ロボット工学研究のための最新の大規模基盤モデルにおいて、鉱業に関する具体的な知識を提示する。
これらのモデルを直接使用または適応して低レベルのポリシやアクションを生成する代わりに、このモデルを使用して多様化したタスク、シーン、トレーニングの監督を大規模に生成し、低レベルのスキル学習をスケールアップし、最終的に汎用ロボットを力づけるロボティクスの基礎モデルへと導く、完全に自動化された生成パイプライン(生成シミュレーションと呼ばれる)を提唱している。
著者らは積極的にこの方向を推し進めているが、一方で、大規模な政策訓練を施した汎用ロボットを構築するという野心的な目標には、計算力やハードウェアなどの重要なリソースが要求されている。
そのため、この初期段階で意見を共有することで議論が促進され、業界団体から提案された経路や関連するトピックに対する関心が高まり、この分野の技術的進歩が促進される可能性があると著者らは考えている。
関連論文リスト
- RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳(メタデータ) (2024-02-22T15:12:00Z) - A Survey on Robotics with Foundation Models: toward Embodied AI [30.999414445286757]
近年のコンピュータビジョン,自然言語処理,マルチモーダリティ学習の進歩は,基礎モデルが特定のタスクに対して超人的能力を持つことを示している。
この調査は、ロボット工学の基礎モデルの包括的で最新の概要を提供し、自律的な操作に焦点を当て、高レベルの計画と低レベルの制御を包含することを目的としている。
論文 参考訳(メタデータ) (2024-02-04T07:55:01Z) - Toward General-Purpose Robots via Foundation Models: A Survey and
Meta-Analysis [73.89558418030418]
既存のロボットシステムは、特定のタスクのために設計され、特定のデータセットに基づいて訓練され、特定の環境にデプロイされている。
ウェブスケールで大規模で大容量の事前学習型モデルの優れたオープンセット性能とコンテンツ生成能力に感銘を受けて,我々は,基礎モデルをロボット工学に適用する方法を探究した。
論文 参考訳(メタデータ) (2023-12-14T10:02:55Z) - Large Language Models for Robotics: A Survey [40.76581696885846]
大規模言語モデル(LLM)は自然言語の処理と生成能力を有しており、ロボットとの効率的な対話と協調を促進する。
本レビューは,ロボット制御,知覚,意思決定,経路計画といった重要な領域に対する,ロボット工学におけるLLMの応用と貢献を要約することを目的としている。
論文 参考訳(メタデータ) (2023-11-13T10:46:35Z) - RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning
via Generative Simulation [64.51563634951394]
RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。
我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
論文 参考訳(メタデータ) (2023-11-02T17:59:21Z) - Pave the Way to Grasp Anything: Transferring Foundation Models for
Universal Pick-Place Robots [50.73735524550534]
そこで本稿では,最先端基礎モデルによって生成された言語基底セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
マスクから伝達される正確なセマンティクスとジオメトリを多視点ポリシーモデルに統合することにより、正確なオブジェクトのポーズを認識し、サンプル効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - A Capability and Skill Model for Heterogeneous Autonomous Robots [69.50862982117127]
機能モデリングは、異なるマシンが提供する機能を意味的にモデル化するための有望なアプローチと考えられている。
この貢献は、製造から自律ロボットの分野への能力モデルの適用と拡張の仕方について考察する。
論文 参考訳(メタデータ) (2022-09-22T10:13:55Z) - Can Foundation Models Perform Zero-Shot Task Specification For Robot
Manipulation? [54.442692221567796]
タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。
タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。
そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
論文 参考訳(メタデータ) (2022-04-23T19:39:49Z) - Heterogeneous Learning from Demonstration [0.0]
ベイズ推定に基づく異種実証から学習する枠組みを提案する。
実世界におけるStarCraft IIのゲームプレイデータセットに対する一組のアプローチを評価した。
論文 参考訳(メタデータ) (2020-01-27T03:08:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。