論文の概要: Open-World Object Manipulation using Pre-trained Vision-Language Models
- arxiv url: http://arxiv.org/abs/2303.00905v2
- Date: Wed, 25 Oct 2023 21:45:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 02:39:26.359467
- Title: Open-World Object Manipulation using Pre-trained Vision-Language Models
- Title（参考訳）: 事前学習型視覚言語モデルを用いたオープンワールドオブジェクト操作
- Authors: Austin Stone, Ted Xiao, Yao Lu, Keerthana Gopalakrishnan, Kuang-Huei
Lee, Quan Vuong, Paul Wohlhart, Sean Kirmani, Brianna Zitkovich, Fei Xia,
Chelsea Finn, Karol Hausman
- Abstract要約: ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。
我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。
実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
- 参考スコア（独自算出の注目度）: 72.87306011500084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For robots to follow instructions from people, they must be able to connect
the rich semantic information in human vocabulary, e.g. "can you get me the
pink stuffed whale?" to their sensory observations and actions. This brings up
a notably difficult challenge for robots: while robot learning approaches allow
robots to learn many different behaviors from first-hand experience, it is
impractical for robots to have first-hand experiences that span all of this
semantic information. We would like a robot's policy to be able to perceive and
pick up the pink stuffed whale, even if it has never seen any data interacting
with a stuffed whale before. Fortunately, static data on the internet has vast
semantic information, and this information is captured in pre-trained
vision-language models. In this paper, we study whether we can interface robot
policies with these pre-trained models, with the aim of allowing robots to
complete instructions involving object categories that the robot has never seen
first-hand. We develop a simple approach, which we call Manipulation of
Open-World Objects (MOO), which leverages a pre-trained vision-language model
to extract object-identifying information from the language command and image,
and conditions the robot policy on the current image, the instruction, and the
extracted object information. In a variety of experiments on a real mobile
manipulator, we find that MOO generalizes zero-shot to a wide range of novel
object categories and environments. In addition, we show how MOO generalizes to
other, non-language-based input modalities to specify the object of interest
such as finger pointing, and how it can be further extended to enable
open-world navigation and manipulation. The project's website and evaluation
videos can be found at https://robot-moo.github.io/
- Abstract（参考訳）: ロボットが人間の指示に従うためには、人間の語彙の豊富な意味情報(例:「ピンクのぬいぐるみは手に入るか?」)と、その感覚的観察と行動とをつなげる必要がある。
ロボット学習のアプローチは、ロボットが直接体験から多くの異なる行動を学べるようにしますが、ロボットがこれらすべての意味情報にまたがる初歩的な体験を持つことは、現実的ではありません。
例え、クジラのぬいぐるみと相互作用するデータを見たことがなくても、ロボットのポリシーでそのクジラのぬいぐるみを知覚し、拾えるようにしたいのです。
幸いなことに、インターネット上の静的データは膨大なセマンティック情報を持ち、この情報は事前訓練された視覚言語モデルでキャプチャされる。
本稿では,ロボットが直接見たことのない対象カテゴリーを含む指示を完結させることを目的として,これらの事前学習モデルとロボットポリシーを連携させることができるか検討する。
我々は,言語コマンドと画像から物体識別情報を抽出するために事前学習した視覚言語モデルを利用して,現在の画像,命令,抽出対象情報に対するロボットポリシーを条件とする,オープンワールドオブジェクトの操作(moo)と呼ぶシンプルな手法を開発した。
実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
さらに,MOOが他の非言語ベースの入力モダリティに一般化して指ポインティングなどの興味の対象を指定する方法や,オープンワールドナビゲーションや操作を可能にするためにさらに拡張する方法について述べる。
プロジェクトのWebサイトと評価ビデオはhttps://robot-moo.github.io/にある。
関連論文リスト
- Towards Generalizable Zero-Shot Manipulation via Translating Human
Interaction Plans [58.27029676638521]
我々は、人間の受動的ビデオが、そのようなジェネラリストロボットを学習するための豊富なデータ源であることを示す。
我々は、シーンの現在の画像とゴール画像から将来の手やオブジェクトの設定を予測する人間の計画予測器を学習する。
学習システムは、40個のオブジェクトに一般化する16以上の操作スキルを実現できることを示す。
論文 参考訳（メタデータ） (2023-12-01T18:54:12Z) - Structured World Models from Human Videos [45.08503470821952]
私たちは、現実世界で、複雑で一般的な行動を直接学習する問題に取り組みます。
そこで本研究では,ロボットが操作スキルを効率よく学習する手法を提案する。
論文 参考訳（メタデータ） (2023-08-21T17:59:32Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳（メタデータ） (2023-07-12T07:04:53Z) - Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。
これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。
私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
論文 参考訳（メタデータ） (2023-04-17T17:59:34Z) - Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。
この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。
本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
論文 参考訳（メタデータ） (2023-02-22T18:47:51Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human
Videos [59.58105314783289]
ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。
DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。
DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
論文 参考訳（メタデータ） (2021-03-31T05:25:05Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。