論文の概要: Generalized Object Search
- arxiv url: http://arxiv.org/abs/2301.10121v1
- Date: Tue, 24 Jan 2023 16:41:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-01-25 13:08:59.812333
- Title: Generalized Object Search
- Title（参考訳）: 一般化オブジェクト検索
- Authors: Kaiyu Zheng
- Abstract要約: この論文は、不確実な3次元環境における多目的探索のための方法とシステムを開発する。
ロボットに依存しない,環境に依存しない3次元物体探索システムを構築した。
私はBoston Dynamics Spotロボット、Kinova MOVOロボット、Universal Robots UR5eロボットアームにデプロイしました。
- 参考スコア（独自算出の注目度）: 0.9137554315375919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Future collaborative robots must be capable of finding objects. As such a
fundamental skill, we expect object search to eventually become an
off-the-shelf capability for any robot, similar to e.g., object detection,
SLAM, and motion planning. However, existing approaches either make unrealistic
compromises (e.g., reduce the problem from 3D to 2D), resort to ad-hoc, greedy
search strategies, or attempt to learn end-to-end policies in simulation that
are yet to generalize across real robots and environments. This thesis argues
that through using Partially Observable Markov Decision Processes (POMDPs) to
model object search while exploiting structures in the human world (e.g.,
octrees, correlations) and in human-robot interaction (e.g., spatial language),
a practical and effective system for generalized object search can be achieved.
In support of this argument, I develop methods and systems for (multi-)object
search in 3D environments under uncertainty due to limited field of view,
occlusion, noisy, unreliable detectors, spatial correlations between objects,
and possibly ambiguous spatial language (e.g., "The red car is behind Chase
Bank"). Besides evaluation in simulators such as PyGame, AirSim, and AI2-THOR,
I design and implement a robot-independent, environment-agnostic system for
generalized object search in 3D and deploy it on the Boston Dynamics Spot
robot, the Kinova MOVO robot, and the Universal Robots UR5e robotic arm, to
perform object search in different environments. The system enables, for
example, a Spot robot to find a toy cat hidden underneath a couch in a kitchen
area in under one minute. This thesis also broadly surveys the object search
literature, proposing taxonomies in object search problem settings, methods and
systems.
- Abstract（参考訳）: 将来の協調ロボットは、物体を見つける能力を持つ必要がある。
このような基本的なスキルとして、オブジェクト探索は最終的には、オブジェクト検出、SLAM、モーションプランニングのような、あらゆるロボットの既製の能力になることを期待している。
しかし、既存のアプローチでは、非現実的な妥協(例えば、問題を3dから2dに減らす)、アドホックな検索戦略、あるいは実際のロボットや環境をまたいで一般化していないシミュレーションのエンドツーエンドポリシーを学習しようとする。
この論文は、部分観測可能なマルコフ決定過程(POMDP)を用いて、人間の世界の構造(オクツリー、相関など)と人間とロボットの相互作用(空間言語など)を利用してオブジェクト探索をモデル化することで、一般化されたオブジェクト探索のための実用的で効果的なシステムを実現することができると主張している。
この議論を支援するために,物体間の空間的相関や,不明瞭な空間的言語(例えば「赤い車はチェイスバンクの背後にある」など)など,視野,閉塞,ノイズ,信頼できない検出器,不確実性を考慮した3次元環境における多目的探索法とシステムを開発した。
PyGame、AirSim、AI2-THORなどのシミュレータの評価に加えて、私は3Dで一般化されたオブジェクト探索のためのロボット非依存の環境認識システムを設計し、Boston Dynamics Spotロボット、Kinova MOVOロボット、Universal Robots UR5eロボットアームにデプロイし、異なる環境でオブジェクト探索を行う。
このシステムは、例えばspotロボットがキッチンエリアのソファの下に隠れているおもちゃの猫を1分以内に見つけることができる。
この論文はまた、対象探索文献を幅広く調査し、対象探索問題設定、方法、システムに分類論を提案する。
関連論文リスト
- MLLM-Search: A Zero-Shot Approach to Finding People using Multimodal Large Language Models [5.28115111932163]
移動ロボットのための新しいゼロショット人探索アーキテクチャであるMLLM-Searchを提案する。
本研究では,環境の空間的理解をロボットに提供するための視覚的プロンプト手法を提案する。
建物の複数部屋のフロアで移動ロボットを実験したところ、MLLM-Searchは、新しい見えない環境の人を見つけるために一般化できることが判明した。
論文 参考訳（メタデータ） (2024-11-27T21:59:29Z) - Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
微分可能シミュレーションは、システム識別の強力なツールとなっている。
本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。
低コストなロボットプラットフォームにおける本手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-10-04T20:48:38Z) - Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。
現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。
本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
論文 参考訳（メタデータ） (2024-07-02T21:00:30Z) - Teaching Unknown Objects by Leveraging Human Gaze and Augmented Reality
in Human-Robot Interaction [3.1473798197405953]
この論文は、人間-ロボットインタラクション(HRI)の文脈で未知の物体を教えることを目的としている。
視線追跡と拡張現実(Augmented Reality)を組み合わせることで、人間の教師がロボットとコミュニケーションできる強力なシナジーが生まれました。
ロボットの物体検出能力は、広範囲なデータセットで訓練された最先端の物体検出器に匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-12-12T11:34:43Z) - WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。
本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。
我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
論文 参考訳（メタデータ） (2023-08-30T11:35:21Z) - Learning Hierarchical Interactive Multi-Object Search for Mobile
Manipulation [10.21450780640562]
本稿では,ロボットが扉を開けて部屋をナビゲートし,キャビネットや引き出しの中を探索し,対象物を見つける,インタラクティブな多目的探索タスクを提案する。
これらの新たな課題は、探索されていない環境での操作とナビゲーションのスキルを組み合わせる必要がある。
本研究では,探索,ナビゲーション,操作のスキルを習得する階層的強化学習手法であるHIMOSを提案する。
論文 参考訳（メタデータ） (2023-07-12T12:25:33Z) - HomeRobot: Open-Vocabulary Mobile Manipulation [107.05702777141178]
Open-Vocabulary Mobile Manipulation (OVMM) は、目に見えない環境で任意のオブジェクトを選択し、命令された場所に配置する問題である。
HomeRobotには2つのコンポーネントがある。シミュレーションコンポーネントは、新しい高品質のマルチルームホーム環境に、大規模で多様なキュレートされたオブジェクトセットを使用する。
論文 参考訳（メタデータ） (2023-06-20T14:30:32Z) - A System for Generalized 3D Multi-Object Search [10.40566214112389]
GenMOSは、ロボットに依存しない環境に依存しない3D領域における多目的探索のための汎用システムである。
例えば、Boston Dynamics Spotロボットは、ソファの下に隠れているおもちゃの猫を1分以内に見つけることができる。
論文 参考訳（メタデータ） (2023-03-06T14:47:38Z) - Extracting Zero-shot Common Sense from Large Language Models for Robot
3D Scene Understanding [25.270772036342688]
本稿では,ラベリングルームのための大規模言語モデルに埋め込まれた共通感覚を活用する新しい手法を提案する。
提案アルゴリズムは,現代の空間認識システムによって生成された3次元シーングラフで動作する。
論文 参考訳（メタデータ） (2022-06-09T16:05:35Z) - Reasoning with Scene Graphs for Robot Planning under Partial
Observability [7.121002367542985]
我々は,ロボットが視覚的文脈情報で推論できるロボット計画のためのシーン解析アルゴリズムを開発した。
シミュレーションで複数の3D環境と実際のロボットが収集したデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2022-02-21T18:45:56Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳（メタデータ） (2021-08-25T07:35:21Z) - SAPIEN: A SimulAted Part-based Interactive ENvironment [77.4739790629284]
SAPIENは現実的で物理に富んだシミュレートされた環境であり、音声オブジェクトのための大規模なセットをホストしている。
部品検出と動作特性認識のための最先端の視覚アルゴリズムの評価を行い,ロボットインタラクションタスクの実証を行った。
論文 参考訳（メタデータ） (2020-03-19T00:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。