論文の概要: Long-Horizon Manipulation of Unknown Objects via Task and Motion
Planning with Estimated Affordances
- arxiv url: http://arxiv.org/abs/2108.04145v1
- Date: Mon, 9 Aug 2021 16:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:09:28.461643
- Title: Long-Horizon Manipulation of Unknown Objects via Task and Motion
Planning with Estimated Affordances
- Title(参考訳): 作業計画と作業計画による未知物体の長期操作
- Authors: Aidan Curtis, Xiaolin Fang, Leslie Pack Kaelbling, Tom\'as
Lozano-P\'erez, Caelan Reed Garrett
- Abstract要約: 操作可能なオブジェクトの集合に関する事前知識がなくても,タスク・アンド・モーション・プランナが知的行動の計画に利用できることを示す。
この戦略により、単一のシステムが様々な実世界のマルチステップ操作タスクを実行できることを実証する。
- 参考スコア(独自算出の注目度): 26.082034134908785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a strategy for designing and building very general robot
manipulation systems involving the integration of a general-purpose
task-and-motion planner with engineered and learned perception modules that
estimate properties and affordances of unknown objects. Such systems are
closed-loop policies that map from RGB images, depth images, and robot joint
encoder measurements to robot joint position commands. We show that following
this strategy a task-and-motion planner can be used to plan intelligent
behaviors even in the absence of a priori knowledge regarding the set of
manipulable objects, their geometries, and their affordances. We explore
several different ways of implementing such perceptual modules for
segmentation, property detection, shape estimation, and grasp generation. We
show how these modules are integrated within the PDDLStream task and motion
planning framework. Finally, we demonstrate that this strategy can enable a
single system to perform a wide variety of real-world multi-step manipulation
tasks, generalizing over a broad class of objects, object arrangements, and
goals, without any prior knowledge of the environment and without re-training.
- Abstract(参考訳): 本稿では,汎用的なタスク・アンド・モーション・プランナと,未知の物体の性質と価値を推定する認識モジュールを統合した,汎用的なロボット操作システムを設計・構築するための戦略を提案する。
このようなシステムは、RGB画像、深度画像、ロボット関節エンコーダ測定からロボット関節位置コマンドにマッピングするクローズドループポリシーである。
この戦略に従うと、操作可能なオブジェクトの集合やジオメトリ、それらの余裕に関する事前知識がなくても、タスク・アンド・モーション・プランナーが知的行動の計画に利用できることを示す。
セグメンテーション, 特性検出, 形状推定, 把握生成のための知覚モジュールの実装方法について検討する。
本稿では,これらのモジュールをpddlstream task and motion planning frameworkに統合する方法を示す。
最後に、この戦略により、環境を事前に知ることなく、再トレーニングすることなく、幅広い種類のオブジェクト、オブジェクトアレンジメント、目標を一般化し、単一のシステムが様々な実世界のマルチステップ操作タスクを実行できることを実証する。
関連論文リスト
- Embodied Task Planning with Large Language Models [86.63533340293361]
本研究では,現場制約を考慮した地上計画のための具体的タスクにおけるTAsk Planing Agent (TaPA)を提案する。
推論の際には,オープンボキャブラリオブジェクト検出器を様々な場所で収集された多視点RGB画像に拡張することにより,シーン内の物体を検出する。
実験の結果,我々のTaPAフレームワークから生成されたプランは,LLaVAやGPT-3.5よりも大きなマージンで高い成功率が得られることがわかった。
論文 参考訳(メタデータ) (2023-07-04T17:58:25Z) - Online Grounding of PDDL Domains by Acting and Sensing in Unknown
Environments [62.11612385360421]
本稿では,エージェントが異なるタスクを実行できるフレームワークを提案する。
機械学習モデルを統合して、感覚データを抽象化し、目標達成のためのシンボリックプランニング、ナビゲーションのためのパスプランニングを行う。
提案手法を,RGB-Dオンボードカメラ,GPS,コンパスなど,正確なシミュレーション環境で評価する。
論文 参考訳(メタデータ) (2021-12-18T21:48:20Z) - Enabling Visual Action Planning for Object Manipulation through Latent
Space Roadmap [72.01609575400498]
高次元状態空間を有する複雑な操作タスクの視覚的行動計画のための枠組みを提案する。
低次元潜時空間におけるシステムダイナミクスを世界規模で捉えたグラフベースの構造であるタスク計画のためのLatent Space Roadmap(LSR)を提案する。
実ロボットで実行された2つの模擬ボックス積み重ねタスクと折り畳みタスクについて,本フレームワークの徹底的な検討を行う。
論文 参考訳(メタデータ) (2021-03-03T17:48:26Z) - A Long Horizon Planning Framework for Manipulating Rigid Pointcloud
Objects [25.428781562909606]
本稿では,剛体物体の操作に伴う長期計画問題の解決のための枠組みを提案する。
提案手法はオブジェクトサブゴールの空間における計画であり,ロボットとオブジェクトの相互作用のダイナミクスに関する推論からプランナーを解放する。
論文 参考訳(メタデータ) (2020-11-16T18:59:33Z) - PackIt: A Virtual Environment for Geometric Planning [68.79816936618454]
PackItは、幾何学的計画を行う能力を評価し、潜在的に学習する仮想環境である。
進化的アルゴリズムを用いて,一組の難解なパッケージングタスクを構築した。
論文 参考訳(メタデータ) (2020-07-21T22:51:17Z) - Distributed Reinforcement Learning of Targeted Grasping with Active
Vision for Mobile Manipulators [4.317864702902075]
移動体マニピュレータのための最初のRLベースのシステムを提案する。これは、(a)対象対象物に対する目標把握の一般化を実現し、(b)隠蔽対象物による乱れたシーンの複雑な把握戦略を学習し、(c)可動式手首カメラでアクティブなビジョンを実行し、オブジェクトの発見をより良くする。
シミュレーション環境でシステムのトレーニングと評価を行い,性能向上,動作解析,実環境への移動といった重要なコンポーネントを特定した。
論文 参考訳(メタデータ) (2020-07-16T02:47:48Z) - Dynamic Feature Integration for Simultaneous Detection of Salient
Object, Edge and Skeleton [108.01007935498104]
本稿では,高次物体分割,エッジ検出,スケルトン抽出など,低レベルの3つの視覚問題を解く。
まず、これらのタスクで共有される類似点を示し、統一されたフレームワークの開発にどのように活用できるかを示す。
論文 参考訳(メタデータ) (2020-04-18T11:10:11Z) - Latent Space Roadmap for Visual Action Planning of Deformable and Rigid
Object Manipulation [74.88956115580388]
プランニングは、イメージを埋め込んだ低次元の潜在状態空間で行われる。
我々のフレームワークは2つの主要なコンポーネントで構成されており、画像のシーケンスとして視覚的な計画を生成するビジュアル・フォレスト・モジュール(VFM)と、それら間のアクションを予測するアクション・プロポーザル・ネットワーク(APN)である。
論文 参考訳(メタデータ) (2020-03-19T18:43:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。