論文の概要: HomeRobot: Open-Vocabulary Mobile Manipulation

• arxiv url: http://arxiv.org/abs/2306.11565v2
• Date: Wed, 10 Jan 2024 14:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 17:28:42.535631
• Title: HomeRobot: Open-Vocabulary Mobile Manipulation
• Title（参考訳）: HomeRobot:オープン語彙モバイル操作
• Authors: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton
• Abstract要約: Open-Vocabulary Mobile Manipulation (OVMM) は、目に見えない環境で任意のオブジェクトを選択し、命令された場所に配置する問題である。 HomeRobotには2つのコンポーネントがある。シミュレーションコンポーネントは、新しい高品質のマルチルームホーム環境に、大規模で多様なキュレートされたオブジェクトセットを使用する。
• 参考スコア（独自算出の注目度）: 107.05702777141178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.
• Abstract（参考訳）: homerobot(名詞)は、家庭をナビゲートし、さまざまなオブジェクトを操作する安価なロボットで、日常的なタスクを完了させる。 Open-Vocabulary Mobile Manipulation (OVMM)は、目に見えない環境でオブジェクトを選択し、命令された場所に配置する問題である。 ロボットの認識、言語理解、ナビゲーション、操作は、すべてovmmにとって不可欠である。 さらに、これらのサブプロブレムへのソリューションの統合は、それ自体が大きな課題となる。 この領域の研究を進めるために,HomeRobot OVMMベンチマークを導入し,エージェントが家庭環境をナビゲートして新しい物体を把握し,対象のレセプタクルに配置する。 homerobotには2つのコンポーネントがある: 大規模で多様なキュレートされたオブジェクトセットを新しい高品質のマルチルームホーム環境に使用するシミュレーションコンポーネントと、低コストのhelloロボットストレッチのためのソフトウェアスタックを提供する現実世界コンポーネント。 強化学習とヒューリスティックベースライン(モデルベース)の両方を実装し,sim-to-real転送の証拠を示す。 私たちの実験では、将来の研究成果がパフォーマンスを改善する方法を特定しました。 私たちのWebサイトにあるビデオを参照してください。

関連論文リスト

• GRUtopia: Dream General Robots in a City at Scale [65.08318324604116]
  本稿では,各種ロボットを対象とした対話型3D社会「GRUtopia」について紹介する。 GRScenesには100万のインタラクティブな微妙な注釈付きシーンが含まれており、都市規模の環境に自由に組み合わせることができる。 GRResidentsはLarge Language Model (LLM)によって駆動されるNon-Player Character (NPC)システムである。
  論文  参考訳（メタデータ） (2024-07-15T17:40:46Z)
• RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
  本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。 私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。 本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-04T17:41:31Z)
• Dynamic Handover: Throw and Catch with Bimanual Hands [30.206469112964033]
  この問題を解決するために、ロボットアームに2本の指を取り付けたシステムを設計する。 シミュレーションにおいてマルチエージェント強化学習を用いてシステムを訓練し、実ロボットにデプロイするためのSim2Real転送を実行する。 Sim2Realのギャップを克服するために、オブジェクトの軌道予測モデルを学ぶことを含む、複数の新しいアルゴリズム設計を提供する。
  論文  参考訳（メタデータ） (2023-09-11T17:49:25Z)
• WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
  本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。 本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。 我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
  論文  参考訳（メタデータ） (2023-08-30T11:35:21Z)
• Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation [10.21450780640562]
  本稿では,ロボットが扉を開けて部屋をナビゲートし,キャビネットや引き出しの中を探索し,対象物を見つける,インタラクティブな多目的探索タスクを提案する。 これらの新たな課題は、探索されていない環境での操作とナビゲーションのスキルを組み合わせる必要がある。 本研究では,探索,ナビゲーション,操作のスキルを習得する階層的強化学習手法であるHIMOSを提案する。
  論文  参考訳（メタデータ） (2023-07-12T12:25:33Z)
• RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot [56.130215236125224]
  オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。 単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。 本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
  論文  参考訳（メタデータ） (2023-07-02T15:33:31Z)
• ALAN: Autonomously Exploring Robotic Agents in the Real World [28.65531878636441]
  ALANは自律的なロボットエージェントで、ほとんどトレーニングや対話の時間なしで現実世界でタスクを実行できる。 これは、物体の動きを反映し、ロボットの位置の変化を無視する環境変化を測定することで実現される。 我々は,ロボットが操作スキルを効率的に探索し,発見することを可能にするために,2つの異なる実世界のプレイキッチン設定に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-02-13T18:59:09Z)
• Sim2Real for Peg-Hole Insertion with Eye-in-Hand Camera [58.720142291102135]
  シミュレーションを用いてペグホール挿入問題を学習し,学習したモデルを実ロボットに転送する。 本稿では,RGB-Dとジョイント情報(プロレセプション)のみを取り入れたトランスファーポリシーが,実際のロボットに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-05-29T05:58:54Z)
• SAPIEN: A SimulAted Part-based Interactive ENvironment [77.4739790629284]
  SAPIENは現実的で物理に富んだシミュレートされた環境であり、音声オブジェクトのための大規模なセットをホストしている。 部品検出と動作特性認識のための最先端の視覚アルゴリズムの評価を行い,ロボットインタラクションタスクの実証を行った。
  論文  参考訳（メタデータ） (2020-03-19T00:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。