論文の概要: Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation?

• arxiv url: http://arxiv.org/abs/2204.11134v1
• Date: Sat, 23 Apr 2022 19:39:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 06:24:32.837686
• Title: Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation?
• Title（参考訳）: ロボットマニピュレーションのためのゼロショットタスク仕様を基礎モデルで実現できるか?
• Authors: Yuchen Cui, Scott Niekum, Abhinav Gupta, Vikash Kumar and Aravind Rajeswaran
• Abstract要約: タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。 タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。 そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
• 参考スコア（独自算出の注目度）: 54.442692221567796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task specification is at the core of programming autonomous robots. A low-effort modality for task specification is critical for engagement of non-expert end-users and ultimate adoption of personalized robot agents. A widely studied approach to task specification is through goals, using either compact state vectors or goal images from the same robot scene. The former is hard to interpret for non-experts and necessitates detailed state estimation and scene understanding. The latter requires the generation of desired goal image, which often requires a human to complete the task, defeating the purpose of having autonomous robots. In this work, we explore alternate and more general forms of goal specification that are expected to be easier for humans to specify and use such as images obtained from the internet, hand sketches that provide a visual description of the desired task, or simple language descriptions. As a preliminary step towards this, we investigate the capabilities of large scale pre-trained models (foundation models) for zero-shot goal specification, and find promising results in a collection of simulated robot manipulation tasks and real-world datasets.
• Abstract（参考訳）: タスク仕様は自律ロボットのプログラミングの核心にある。 非熟練のエンドユーザの関与とパーソナライズされたロボットエージェントの究極の採用には,タスク仕様に対する低便宜が不可欠である。 タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。 前者は非専門家の解釈が困難であり、詳細な状態推定とシーン理解が必要となる。 後者では目標画像の生成が必要であり、人間がタスクを完了させる必要があり、自律ロボットの目的を破る。 本研究では,インターネットから取得した画像,所望のタスクの視覚的記述を提供する手書きスケッチ,あるいは単純な言語記述など,人間が容易に指定し,使用することができると期待されている,代替的で汎用的な目標仕様の形式について検討する。 これに対する予備的なステップとして,ゼロショット目標仕様のための大規模事前学習モデル(基礎モデル)の能力を調査し,シミュレーションロボット操作タスクと実世界のデータセットから有望な結果を得る。

関連論文リスト

• CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera [18.971816395021488]
  マーカーレスポーズ推定手法は、カメラとロボットのキャリブレーションに時間を要する物理的な設定を不要にしている。 部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-16T16:22:43Z)
• Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
  ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。 我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。 われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-05-10T16:25:42Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Reasoning with Scene Graphs for Robot Planning under Partial Observability [7.121002367542985]
  我々は,ロボットが視覚的文脈情報で推論できるロボット計画のためのシーン解析アルゴリズムを開発した。 シミュレーションで複数の3D環境と実際のロボットが収集したデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-02-21T18:45:56Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)
• Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos [59.58105314783289]
  ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。 DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。 DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
  論文  参考訳（メタデータ） (2021-03-31T05:25:05Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。