論文の概要: Towards Open-World Mobile Manipulation in Homes: Lessons from the Neurips 2023 HomeRobot Open Vocabulary Mobile Manipulation Challenge

• arxiv url: http://arxiv.org/abs/2407.06939v1
• Date: Tue, 9 Jul 2024 15:15:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 17:37:36.957844
• Title: Towards Open-World Mobile Manipulation in Homes: Lessons from the Neurips 2023 HomeRobot Open Vocabulary Mobile Manipulation Challenge
• Title（参考訳）: 家庭におけるオープンワールドモバイルマニピュレーションに向けて--2023年ニューリプス・ホームロボットのオープンボキャブラリモバイルマニピュレーションチャレンジからの教訓
• Authors: Sriram Yenamandra, Arun Ramachandran, Mukul Khanna, Karmesh Yadav, Jay Vakil, Andrew Melnik, Michael Büttner, Leon Harz, Lyon Brown, Gora Chand Nandi, Arjun PS, Gaurav Kumar Yadav, Rahul Kala, Robert Haschke, Yang Luo, Jinxin Zhu, Yansen Han, Bingyi Lu, Xuan Gu, Qinyuan Liu, Yaping Zhao, Qiting Ye, Chenxiao Dou, Yansong Chua, Volodymyr Kuzma, Vladyslav Humennyy, Ruslan Partsey, Jonathan Francis, Devendra Singh Chaplot, Gunjan Chhablani, Alexander Clegg, Theophile Gervet, Vidhi Jain, Ram Ramrakhya, Andrew Szot, Austin Wang, Tsung-Yen Yang, Aaron Edsinger, Charlie Kemp, Binit Shah, Zsolt Kira, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton,
• Abstract要約: ロボット工学における鍵となるベンチマークタスクとして,Open Vocabulary Mobile Manipulationを提案する。 我々は,この課題に対する解決策を評価するために,シミュレーションと実世界のコンポーネントを兼ね備えたNeurIPS 2023コンペティションを組織した。 シミュレーションと実環境設定の両方で使用される結果と方法論を詳述する。
• 参考スコア（独自算出の注目度）: 93.4434417387526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to develop robots that can effectively serve as versatile and capable home assistants, it is crucial for them to reliably perceive and interact with a wide variety of objects across diverse environments. To this end, we proposed Open Vocabulary Mobile Manipulation as a key benchmark task for robotics: finding any object in a novel environment and placing it on any receptacle surface within that environment. We organized a NeurIPS 2023 competition featuring both simulation and real-world components to evaluate solutions to this task. Our baselines on the most challenging version of this task, using real perception in simulation, achieved only an 0.8% success rate; by the end of the competition, the best participants achieved an 10.8\% success rate, a 13x improvement. We observed that the most successful teams employed a variety of methods, yet two common threads emerged among the best solutions: enhancing error detection and recovery, and improving the integration of perception with decision-making processes. In this paper, we detail the results and methodologies used, both in simulation and real-world settings. We discuss the lessons learned and their implications for future research. Additionally, we compare performance in real and simulated environments, emphasizing the necessity for robust generalization to novel settings.
• Abstract（参考訳）: 汎用的で有能なホームアシスタントとして効果的に機能するロボットを開発するためには,多様な環境にまたがる多様な物体を確実に知覚し,操作することが重要である。 そこで我々は,ロボット工学の重要なベンチマークタスクとしてOpen Vocabulary Mobile Manipulationを提案した。 我々は,この課題に対する解決策を評価するために,シミュレーションと実世界のコンポーネントを兼ね備えたNeurIPS 2023コンペティションを組織した。 このタスクの最も困難なバージョンに対するベースラインは、シミュレーションにおける実際の認識を使用して、わずか0.8%の成功率しか達成せず、競争の終わりまでに、最高の参加者は10.8\%の成功率、13倍の改善を達成しました。 もっとも成功したチームは、さまざまな方法を採用しましたが、2つの一般的なスレッドは、エラー検出とリカバリを強化し、意思決定プロセスとの認識の統合を改善しました。 本稿では,シミュレーションと実環境設定の両方で使用される結果と方法論を詳述する。 今後の研究における教訓とその意義について論じる。 さらに、実環境とシミュレーション環境のパフォーマンスを比較し、新しい環境への堅牢な一般化の必要性を強調した。

関連論文リスト

• A Retrospective on the Robot Air Hockey Challenge: Benchmarking Robust, Reliable, and Safe Learning Techniques for Real-world Robotics [53.33976793493801]
  私たちは、NeurIPS 2023カンファレンスでRobot Air Hockey Challengeを組織しました。 我々は、シム・トゥ・リアルギャップ、低レベルの制御問題、安全性問題、リアルタイム要件、実世界のデータの限られた可用性など、ロボット工学における実践的な課題に焦点を当てる。 その結果、学習に基づくアプローチと事前知識を組み合わせたソリューションは、実際のデプロイメントが困難である場合にデータのみに依存するソリューションよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-08T17:20:47Z)
• VITAL: Visual Teleoperation to Enhance Robot Learning through Human-in-the-Loop Corrections [10.49712834719005]
  本稿では,VITAL と呼ばれる双方向操作作業のための低コストな視覚遠隔操作システムを提案する。 われわれのアプローチは、安価なハードウェアとビジュアル処理技術を利用してデモを収集する。 実環境と模擬環境の両方を活用することにより,学習方針の一般化性と堅牢性を高める。
  論文  参考訳（メタデータ） (2024-07-30T23:29:47Z)
• HomeRobot: Open-Vocabulary Mobile Manipulation [107.05702777141178]
  Open-Vocabulary Mobile Manipulation (OVMM) は、目に見えない環境で任意のオブジェクトを選択し、命令された場所に配置する問題である。 HomeRobotには2つのコンポーネントがある。シミュレーションコンポーネントは、新しい高品質のマルチルームホーム環境に、大規模で多様なキュレートされたオブジェクトセットを使用する。
  論文  参考訳（メタデータ） (2023-06-20T14:30:32Z)
• CorNav: Autonomous Agent with Self-Corrected Planning for Zero-Shot Vision-and-Language Navigation [73.78984332354636]
  CorNavは視覚・言語ナビゲーションのための新しいゼロショットフレームワークである。 将来の計画の見直しや行動調整のための環境フィードバックが組み込まれている。 ゼロショットマルチタスク設定ですべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-06-17T11:44:04Z)
• Language-Conditioned Imitation Learning with Base Skill Priors under Unstructured Data [26.004807291215258]
  言語条件付きロボット操作は、複雑なタスクを理解し実行することができるロボットを開発することを目的としている。 基本スキルの事前知識と非構造化データに基づく模倣学習を組み合わせた汎用的言語条件付き手法を提案する。 ゼロショット設定を用いてシミュレーション環境と実環境の両方におけるモデルの性能を評価する。
  論文  参考訳（メタデータ） (2023-05-30T14:40:38Z)
• Phone2Proc: Bringing Robust Robots Into Our Chaotic World [50.51598304564075]
  Phone2Procは、10分間の電話スキャンと条件付き手続き生成を使用して、トレーニングシーンの分布を作成する方法である。 生成されたシーンは、壁のレイアウトとスキャンからの大きなオブジェクトの配置に条件付けされる。 Phone2Procは、sim-to-real ObjectNavのパフォーマンスで34.7%から70.7%に大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T18:52:27Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Solving Challenging Dexterous Manipulation Tasks With Trajectory Optimisation and Reinforcement Learning [14.315501760755609]
  人為的なロボットハンドの使い方を自律的に学ぶ訓練エージェントは、様々な複雑な操作タスクを実行できるシステムに繋がる可能性を秘めている。 まず、現在の強化学習と軌跡最適化技術が困難であるような、シミュレーション操作の難易度を課題として紹介する。 次に、これらの環境における既存の手法よりもはるかに優れた性能を示す、単純な軌道最適化を導入する。
  論文  参考訳（メタデータ） (2020-09-09T13:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。