論文の概要: Towards Generalist Robots: A Promising Paradigm via Generative Simulation

• arxiv url: http://arxiv.org/abs/2305.10455v3
• Date: Wed, 30 Aug 2023 00:05:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 17:14:04.980446
• Title: Towards Generalist Robots: A Promising Paradigm via Generative Simulation
• Title（参考訳）: ジェネラリストロボットに向けて:生成シミュレーションによる有望なパラダイム
• Authors: Zhou Xian, Theophile Gervet, Zhenjia Xu, Yi-Ling Qiao, Tsun-Hsuan Wang, Yian Wang
• Abstract要約: この文書は、一般のロボットへの潜在的な経路に対する著者のビジョンを概説する位置紙として機能する。 著者らは、提案されたパラダイムは、ロボット工学研究の長年の目標を達成するための、実現可能な道であると信じている。
• 参考スコア（独自算出の注目度）: 18.704506851738365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This document serves as a position paper that outlines the authors' vision for a potential pathway towards generalist robots. The purpose of this document is to share the excitement of the authors with the community and highlight a promising research direction in robotics and AI. The authors believe the proposed paradigm is a feasible path towards accomplishing the long-standing goal of robotics research: deploying robots, or embodied AI agents more broadly, in various non-factory real-world settings to perform diverse tasks. This document presents a specific idea for mining knowledge in the latest large-scale foundation models for robotics research. Instead of directly using or adapting these models to produce low-level policies and actions, it advocates for a fully automated generative pipeline (termed as generative simulation), which uses these models to generate diversified tasks, scenes and training supervisions at scale, thereby scaling up low-level skill learning and ultimately leading to a foundation model for robotics that empowers generalist robots. The authors are actively pursuing this direction, but in the meantime, they recognize that the ambitious goal of building generalist robots with large-scale policy training demands significant resources such as computing power and hardware, and research groups in academia alone may face severe resource constraints in implementing the entire vision. Therefore, the authors believe sharing their thoughts at this early stage could foster discussions, attract interest towards the proposed pathway and related topics from industry groups, and potentially spur significant technical advancements in the field.
• Abstract（参考訳）: この文書は、一般のロボットへの潜在的な経路に対する著者のビジョンを概説する位置紙として機能する。 この文書の目的は、著者たちの興奮をコミュニティと共有し、ロボット工学とAIにおける有望な研究方向性を明らかにすることである。 著者らは、提案されたパラダイムは、ロボット研究の長年の目標を達成するための、実現可能な道であると信じている。 この文書は、ロボット工学研究のための最新の大規模基盤モデルにおいて、鉱業に関する具体的な知識を提示する。 これらのモデルを直接使用または適応して低レベルのポリシやアクションを生成する代わりに、このモデルを使用して多様化したタスク、シーン、トレーニングの監督を大規模に生成し、低レベルのスキル学習をスケールアップし、最終的に汎用ロボットを力づけるロボティクスの基礎モデルへと導く、完全に自動化された生成パイプライン(生成シミュレーションと呼ばれる)を提唱している。 著者らは積極的にこの方向を推し進めているが、一方で、大規模な政策訓練を施した汎用ロボットを構築するという野心的な目標には、計算力やハードウェアなどの重要なリソースが要求されている。 そのため、この初期段階で意見を共有することで議論が促進され、業界団体から提案された経路や関連するトピックに対する関心が高まり、この分野の技術的進歩が促進される可能性があると著者らは考えている。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Grounding Robot Policies with Visuomotor Language Guidance [15.774237279917594]
  ロボットポリシーを現在の状況に基盤付けるためのエージェントベースのフレームワークを提案する。 提案するフレームワークは、特定の役割のために設計された会話エージェントのセットで構成されている。 弊社のアプローチは、操作ポリシーを効果的にガイドし、成功率を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-10-09T02:00:37Z)
• Contextual Affordances for Safe Exploration in Robotic Scenarios [1.7647943747248804]
  本稿では,家庭を対象としたロボットシナリオにおいて,安全な探索と学習を可能にするために,文脈割当の利用について検討する。 より広い状態空間にコンテクストアプライアンスを拡張可能な,シンプルな状態表現を提案する。 長期的には、この研究は複雑な家庭環境における人間とロボットの相互作用の将来の探索の基礎となるかもしれない。
  論文  参考訳（メタデータ） (2024-05-10T12:12:38Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• A Survey on Robotics with Foundation Models: toward Embodied AI [30.999414445286757]
  近年のコンピュータビジョン,自然言語処理,マルチモーダリティ学習の進歩は,基礎モデルが特定のタスクに対して超人的能力を持つことを示している。 この調査は、ロボット工学の基礎モデルの包括的で最新の概要を提供し、自律的な操作に焦点を当て、高レベルの計画と低レベルの制御を包含することを目的としている。
  論文  参考訳（メタデータ） (2024-02-04T07:55:01Z)
• Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis [82.59451639072073]
  汎用ロボットはどんな環境でも、どんな物体でもシームレスに動作し、様々なスキルを使って様々なタスクをこなす。 コミュニティとしては、特定のタスク用に設計し、特定のデータセットでトレーニングし、特定の環境にデプロイすることで、ほとんどのロボットシステムを制約してきました。 ウェブスケールで大規模で大容量の事前学習型モデルの優れたオープンセット性能とコンテンツ生成能力に感銘を受けて,本調査は,汎用ロボティクスに基礎モデルを適用する方法について検討した。
  論文  参考訳（メタデータ） (2023-12-14T10:02:55Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• A Capability and Skill Model for Heterogeneous Autonomous Robots [69.50862982117127]
  機能モデリングは、異なるマシンが提供する機能を意味的にモデル化するための有望なアプローチと考えられている。 この貢献は、製造から自律ロボットの分野への能力モデルの適用と拡張の仕方について考察する。
  論文  参考訳（メタデータ） (2022-09-22T10:13:55Z)
• Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation? [54.442692221567796]
  タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。 タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。 そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
  論文  参考訳（メタデータ） (2022-04-23T19:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。