論文の概要: Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation

• arxiv url: http://arxiv.org/abs/2307.06125v3
• Date: Thu, 19 Oct 2023 12:14:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 19:28:52.614296
• Title: Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation
• Title（参考訳）: モバイル操作のための階層型対話型多目的探索の学習
• Authors: Fabian Schmalstieg, Daniel Honerkamp, Tim Welschehold, Abhinav Valada
• Abstract要約: 本稿では,ロボットが扉を開けて部屋をナビゲートし,キャビネットや引き出しの中を探索し,対象物を見つける,インタラクティブな多目的探索タスクを提案する。 これらの新たな課題は、探索されていない環境での操作とナビゲーションのスキルを組み合わせる必要がある。 本研究では,探索,ナビゲーション,操作のスキルを習得する階層的強化学習手法であるHIMOSを提案する。
• 参考スコア（独自算出の注目度）: 10.21450780640562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing object-search approaches enable robots to search through free pathways, however, robots operating in unstructured human-centered environments frequently also have to manipulate the environment to their needs. In this work, we introduce a novel interactive multi-object search task in which a robot has to open doors to navigate rooms and search inside cabinets and drawers to find target objects. These new challenges require combining manipulation and navigation skills in unexplored environments. We present HIMOS, a hierarchical reinforcement learning approach that learns to compose exploration, navigation, and manipulation skills. To achieve this, we design an abstract high-level action space around a semantic map memory and leverage the explored environment as instance navigation points. We perform extensive experiments in simulation and the real world that demonstrate that, with accurate perception, the decision making of HIMOS effectively transfers to new environments in a zero-shot manner. It shows robustness to unseen subpolicies, failures in their execution, and different robot kinematics. These capabilities open the door to a wide range of downstream tasks across embodied AI and real-world use cases.
• Abstract（参考訳）: 既存のオブジェクト検索アプローチでは、ロボットは自由経路を探索できるが、構造化されていない人間中心の環境で動作するロボットは、必要に応じて環境を操作する必要がある。 本研究では,ロボットが扉を開けて部屋をナビゲートし,キャビネットや引き出しの中を探索して対象物を見つける,インタラクティブな多目的探索タスクを提案する。 これらの新しい課題は、未探索の環境で操作とナビゲーションのスキルを組み合わせることを必要とする。 本研究では,探索,ナビゲーション,操作のスキルを習得する階層的強化学習手法であるHIMOSを提案する。 これを実現するために,セマンティックマップメモリ周辺の抽象的なハイレベルなアクション空間を設計し,探索環境をインスタンスナビゲーションポイントとして活用する。 我々はシミュレーションと実世界において、HIMOSの意思決定がゼロショット方式で効果的に新しい環境へ移行することを示す広範な実験を行った。 目に見えないサブポリティシー、実行時の失敗、そして異なるロボットキネマティクスに対する堅牢性を示す。 これらの機能は、具体化されたAIや現実世界のユースケースにまたがる幅広いダウンストリームタスクへの扉を開く。

関連論文リスト

• Affordance Perception by a Knowledge-Guided Vision-Language Model with Efficient Error Correction [0.0]
  オープンワールド環境におけるロボットに対して,正確かつ行動可能な価格表現を提供する。 我々は、この知識ベースを基礎となる視覚言語モデル(VLM)に接続し、VLMに、より広い種類の新しい、目に見えないオブジェクトを誘導する。 空白表現,画像検出,ループ内の人間との混在は,ロボットが目標を達成するために対象を探索する上で有効である。
  論文  参考訳（メタデータ） (2024-07-18T10:24:22Z)
• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• Growing from Exploration: A self-exploring framework for robots based on foundation models [13.250831101705694]
  我々は、ロボットが人間の介入なしに自律的に探索し学習することを可能にするGExpというフレームワークを提案する。 幼児が世界と対話する方法に触発されて、GExpはロボットに、一連の自己生成タスクで環境を理解し、探索するように促す。
  論文  参考訳（メタデータ） (2024-01-24T14:04:08Z)
• Target Search and Navigation in Heterogeneous Robot Systems with Deep Reinforcement Learning [3.3167319223959373]
  未知の環境下での探索・救助ミッションのためのUAVとUGVからなる異種ロボットシステムを設計する。 このシステムは、深い強化学習アルゴリズムによって学習されたポリシーを用いて、迷路のような鉱山環境でターゲットを探索し、それらをナビゲートすることができる。
  論文  参考訳（メタデータ） (2023-08-01T07:09:14Z)
• HomeRobot: Open-Vocabulary Mobile Manipulation [107.05702777141178]
  Open-Vocabulary Mobile Manipulation (OVMM) は、目に見えない環境で任意のオブジェクトを選択し、命令された場所に配置する問題である。 HomeRobotには2つのコンポーネントがある。シミュレーションコンポーネントは、新しい高品質のマルチルームホーム環境に、大規模で多様なキュレートされたオブジェクトセットを使用する。
  論文  参考訳（メタデータ） (2023-06-20T14:30:32Z)
• Generalized Object Search [0.9137554315375919]
  この論文は、不確実な3次元環境における多目的探索のための方法とシステムを開発する。 ロボットに依存しない,環境に依存しない3次元物体探索システムを構築した。 私はBoston Dynamics Spotロボット、Kinova MOVOロボット、Universal Robots UR5eロボットアームにデプロイしました。
  論文  参考訳（メタデータ） (2023-01-24T16:41:36Z)
• ReLMM: Practical RL for Learning Mobile Manipulation Skills Using Only Onboard Sensors [64.2809875343854]
  ロボットは、ナビゲーションと把握の組み合わせを必要とするスキルを自律的に学習する方法について研究する。 我々のシステムであるReLMMは、環境機器を使わずに、現実世界のプラットフォームで継続的に学習することができる。 グラウンドカリキュラムトレーニングフェーズの後、ReLMMは、現実世界のトレーニングの約40時間で、ナビゲーションと完全に自動的なグリップを学習できる。
  論文  参考訳（メタデータ） (2021-07-28T17:59:41Z)
• Rapid Exploration for Open-World Navigation with Latent Goal Models [78.45339342966196]
  多様なオープンワールド環境における自律的な探索とナビゲーションのためのロボット学習システムについて述べる。 本手法のコアとなるのは、画像の非パラメトリックトポロジカルメモリとともに、距離と行動の学習された潜在変数モデルである。 学習方針を規則化するために情報ボトルネックを使用し、(i)目標のコンパクトな視覚的表現、(ii)一般化能力の向上、(iii)探索のための実行可能な目標をサンプリングするためのメカニズムを提供する。
  論文  参考訳（メタデータ） (2021-04-12T23:14:41Z)
• ViNG: Learning Open-World Navigation with Visual Goals [82.84193221280216]
  視覚的目標達成のための学習に基づくナビゲーションシステムを提案する。 提案手法は,我々がvingと呼ぶシステムが,目標条件強化学習のための提案手法を上回っていることを示す。 我々は、ラストマイル配送や倉庫検査など、現実の多くのアプリケーションでViNGを実演する。
  論文  参考訳（メタデータ） (2020-12-17T18:22:32Z)
• SAPIEN: A SimulAted Part-based Interactive ENvironment [77.4739790629284]
  SAPIENは現実的で物理に富んだシミュレートされた環境であり、音声オブジェクトのための大規模なセットをホストしている。 部品検出と動作特性認識のための最先端の視覚アルゴリズムの評価を行い,ロボットインタラクションタスクの実証を行った。
  論文  参考訳（メタデータ） (2020-03-19T00:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。