論文の概要: Long-Horizon Manipulation of Unknown Objects via Task and Motion Planning with Estimated Affordances

• arxiv url: http://arxiv.org/abs/2108.04145v1
• Date: Mon, 9 Aug 2021 16:13:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:09:28.461643
• Title: Long-Horizon Manipulation of Unknown Objects via Task and Motion Planning with Estimated Affordances
• Title（参考訳）: 作業計画と作業計画による未知物体の長期操作
• Authors: Aidan Curtis, Xiaolin Fang, Leslie Pack Kaelbling, Tom\'as Lozano-P\'erez, Caelan Reed Garrett
• Abstract要約: 操作可能なオブジェクトの集合に関する事前知識がなくても,タスク・アンド・モーション・プランナが知的行動の計画に利用できることを示す。 この戦略により、単一のシステムが様々な実世界のマルチステップ操作タスクを実行できることを実証する。
• 参考スコア（独自算出の注目度）: 26.082034134908785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a strategy for designing and building very general robot manipulation systems involving the integration of a general-purpose task-and-motion planner with engineered and learned perception modules that estimate properties and affordances of unknown objects. Such systems are closed-loop policies that map from RGB images, depth images, and robot joint encoder measurements to robot joint position commands. We show that following this strategy a task-and-motion planner can be used to plan intelligent behaviors even in the absence of a priori knowledge regarding the set of manipulable objects, their geometries, and their affordances. We explore several different ways of implementing such perceptual modules for segmentation, property detection, shape estimation, and grasp generation. We show how these modules are integrated within the PDDLStream task and motion planning framework. Finally, we demonstrate that this strategy can enable a single system to perform a wide variety of real-world multi-step manipulation tasks, generalizing over a broad class of objects, object arrangements, and goals, without any prior knowledge of the environment and without re-training.
• Abstract（参考訳）: 本稿では,汎用的なタスク・アンド・モーション・プランナと,未知の物体の性質と価値を推定する認識モジュールを統合した,汎用的なロボット操作システムを設計・構築するための戦略を提案する。 このようなシステムは、RGB画像、深度画像、ロボット関節エンコーダ測定からロボット関節位置コマンドにマッピングするクローズドループポリシーである。 この戦略に従うと、操作可能なオブジェクトの集合やジオメトリ、それらの余裕に関する事前知識がなくても、タスク・アンド・モーション・プランナーが知的行動の計画に利用できることを示す。 セグメンテーション, 特性検出, 形状推定, 把握生成のための知覚モジュールの実装方法について検討する。 本稿では,これらのモジュールをpddlstream task and motion planning frameworkに統合する方法を示す。 最後に、この戦略により、環境を事前に知ることなく、再トレーニングすることなく、幅広い種類のオブジェクト、オブジェクトアレンジメント、目標を一般化し、単一のシステムが様々な実世界のマルチステップ操作タスクを実行できることを実証する。

関連論文リスト

• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Representing Positional Information in Generative World Models for Object Manipulation [12.263162194821787]
  本稿では,世界モデルに基づくエージェントがオブジェクト配置タスクを解くための汎用的アプローチを提案する。 特にLCPでは、目標仕様のためのオブジェクトの位置情報を明示的にキャプチャするオブジェクト中心の潜在表現を採用している。 提案手法は複数の操作環境にまたがって厳密に評価され,現行のモデルベース制御手法と比較して良好な性能を示した。
  論文  参考訳（メタデータ） (2024-09-18T14:19:50Z)
• Embodied Instruction Following in Unknown Environments [66.60163202450954]
  未知環境における複雑なタスクに対するEIF(Embodied instruction following)法を提案する。 我々は,ハイレベルなタスクプランナと低レベルな探索コントローラを含む,階層的な具体化命令に従うフレームワークを構築した。 タスクプランナに対しては、タスク完了プロセスと既知の視覚的手がかりに基づいて、人間の目標達成のための実行可能なステップバイステッププランを生成する。
  論文  参考訳（メタデータ） (2024-06-17T17:55:40Z)
• Cognitive Planning for Object Goal Navigation using Generative AI Models [0.979851640406258]
  本稿では,効率的な探索戦略を生成するオブジェクトゴールナビゲーション問題を解決するための新しいフレームワークを提案する。 我々のアプローチは,Large Language Models (LLMs) とLarge Vision-Language Models (LVLMs) を活用することで,ロボットが慣れない環境をナビゲートすることを可能にする。
  論文  参考訳（メタデータ） (2024-03-30T10:54:59Z)
• Embodied Task Planning with Large Language Models [86.63533340293361]
  本研究では,現場制約を考慮した地上計画のための具体的タスクにおけるTAsk Planing Agent (TaPA)を提案する。 推論の際には,オープンボキャブラリオブジェクト検出器を様々な場所で収集された多視点RGB画像に拡張することにより,シーン内の物体を検出する。 実験の結果,我々のTaPAフレームワークから生成されたプランは,LLaVAやGPT-3.5よりも大きなマージンで高い成功率が得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-04T17:58:25Z)
• Online Grounding of PDDL Domains by Acting and Sensing in Unknown Environments [62.11612385360421]
  本稿では,エージェントが異なるタスクを実行できるフレームワークを提案する。 機械学習モデルを統合して、感覚データを抽象化し、目標達成のためのシンボリックプランニング、ナビゲーションのためのパスプランニングを行う。 提案手法を,RGB-Dオンボードカメラ,GPS,コンパスなど,正確なシミュレーション環境で評価する。
  論文  参考訳（メタデータ） (2021-12-18T21:48:20Z)
• A Long Horizon Planning Framework for Manipulating Rigid Pointcloud Objects [25.428781562909606]
  本稿では,剛体物体の操作に伴う長期計画問題の解決のための枠組みを提案する。 提案手法はオブジェクトサブゴールの空間における計画であり,ロボットとオブジェクトの相互作用のダイナミクスに関する推論からプランナーを解放する。
  論文  参考訳（メタデータ） (2020-11-16T18:59:33Z)
• Distributed Reinforcement Learning of Targeted Grasping with Active Vision for Mobile Manipulators [4.317864702902075]
  移動体マニピュレータのための最初のRLベースのシステムを提案する。これは、(a)対象対象物に対する目標把握の一般化を実現し、(b)隠蔽対象物による乱れたシーンの複雑な把握戦略を学習し、(c)可動式手首カメラでアクティブなビジョンを実行し、オブジェクトの発見をより良くする。 シミュレーション環境でシステムのトレーニングと評価を行い,性能向上,動作解析,実環境への移動といった重要なコンポーネントを特定した。
  論文  参考訳（メタデータ） (2020-07-16T02:47:48Z)
• Dynamic Feature Integration for Simultaneous Detection of Salient Object, Edge and Skeleton [108.01007935498104]
  本稿では,高次物体分割,エッジ検出,スケルトン抽出など,低レベルの3つの視覚問題を解く。 まず、これらのタスクで共有される類似点を示し、統一されたフレームワークの開発にどのように活用できるかを示す。
  論文  参考訳（メタデータ） (2020-04-18T11:10:11Z)
• Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation [74.88956115580388]
  プランニングは、イメージを埋め込んだ低次元の潜在状態空間で行われる。 我々のフレームワークは2つの主要なコンポーネントで構成されており、画像のシーケンスとして視覚的な計画を生成するビジュアル・フォレスト・モジュール(VFM)と、それら間のアクションを予測するアクション・プロポーザル・ネットワーク(APN)である。
  論文  参考訳（メタデータ） (2020-03-19T18:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。