論文の概要: Transformers for One-Shot Visual Imitation

• arxiv url: http://arxiv.org/abs/2011.05970v1
• Date: Wed, 11 Nov 2020 18:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 00:00:12.181104
• Title: Transformers for One-Shot Visual Imitation
• Title（参考訳）: ワンショット視覚模倣用トランス
• Authors: Sudeep Dasari, Abhinav Gupta
• Abstract要約: 人間は、意図を推測し、過去の経験を使って同じ目的を達成することで、他人をシームレスに模倣することができる。 ロボット模倣学習の以前の研究は、専門家の人間のオペレーターから多様なスキルを習得できるエージェントを作成した。 本稿では,ロボットが過去の経験を生かして,これらの領域のギャップを部分的に埋めることのできる手法について検討する。
• 参考スコア（独自算出の注目度）: 28.69615089950047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans are able to seamlessly visually imitate others, by inferring their intentions and using past experience to achieve the same end goal. In other words, we can parse complex semantic knowledge from raw video and efficiently translate that into concrete motor control. Is it possible to give a robot this same capability? Prior research in robot imitation learning has created agents which can acquire diverse skills from expert human operators. However, expanding these techniques to work with a single positive example during test time is still an open challenge. Apart from control, the difficulty stems from mismatches between the demonstrator and robot domains. For example, objects may be placed in different locations (e.g. kitchen layouts are different in every house). Additionally, the demonstration may come from an agent with different morphology and physical appearance (e.g. human), so one-to-one action correspondences are not available. This paper investigates techniques which allow robots to partially bridge these domain gaps, using their past experience. A neural network is trained to mimic ground truth robot actions given context video from another agent, and must generalize to unseen task instances when prompted with new videos during test time. We hypothesize that our policy representations must be both context driven and dynamics aware in order to perform these tasks. These assumptions are baked into the neural network using the Transformers attention mechanism and a self-supervised inverse dynamics loss. Finally, we experimentally determine that our method accomplishes a $\sim 2$x improvement in terms of task success rate over prior baselines in a suite of one-shot manipulation tasks.
• Abstract（参考訳）: 人間は、意図を推測し、過去の経験を使って同じ目的を達成することで、他人をシームレスに模倣することができる。 言い換えれば、生のビデオから複雑な意味知識を解析し、それを具体的な運動制御に効率的に翻訳することができる。 ロボットにも同じ能力を与えることができますか。 ロボット模倣学習の以前の研究は、専門家の人間のオペレーターから多様なスキルを習得できるエージェントを開発した。 しかしながら、これらのテクニックをテスト期間中にひとつの肯定的な例で機能させるのは、まだオープンな課題です。 制御は別として、難易度はデモンストレーターとロボットドメインのミスマッチに起因する。 例えば、オブジェクトは異なる場所に配置することができる(例えば、キッチンレイアウトは各家庭で異なる)。 さらに、このデモンストレーションは、形態や身体的な外観の異なるエージェント(例えば、人間)から来るため、1対1のアクション対応は利用できない。 本稿では,ロボットが過去の経験から,これらの領域間隙を部分的に橋渡しできる手法について検討する。 ニューラルネットワークは、他のエージェントからのコンテキストビデオから与えられた地上の真理ロボットアクションを模倣するように訓練され、テスト時間中に新しいビデオでトリガーされたタスクインスタンスに一般化されなければならない。 これらのタスクを実行するためには、ポリシー表現はコンテキスト駆動と動的認識の両方でなければならない、という仮説を立てる。 これらの仮定は、トランスフォーマーアテンション機構と自己教師付き逆ダイナミクス損失を用いてニューラルネットワークに組み込まれる。 最後に,一発操作タスクのスイートにおいて,従来のベースラインよりもタスク成功率で$\sim 2$xの改善が達成できることを実験的に検証した。

関連論文リスト

• Track2Act: Predicting Point Tracks from Internet Videos enables Diverse Zero-shot Robot Manipulation [65.46610405509338]
  Track2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 これらの2次元トラック予測を用いて、操作対象の剛体変換列を推定し、ロボットのエンドエフェクタのポーズを得る。 学習したトラック予測を残留ポリシーと組み合わせることで、ゼロショットロボットの操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• XSkill: Cross Embodiment Skill Discovery [41.624343257852146]
  XSkillは、非ラベルの人間とロボットの操作ビデオから純粋に、スキルプロトタイプと呼ばれるクロスボデーメント表現を発見する模倣学習フレームワークである。 シミュレーションと実環境における実験により,見知らぬタスクのスキル伝達と構成を容易にする技術プロトタイプが発見された。
  論文  参考訳（メタデータ） (2023-07-19T12:51:28Z)
• Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
  ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。 我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。 われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-05-10T16:25:42Z)
• Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
  我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。 これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。 私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
  論文  参考訳（メタデータ） (2023-04-17T17:59:34Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• A Differentiable Recipe for Learning Visual Non-Prehensile Planar Manipulation [63.1610540170754]
  視覚的非包括的平面操作の問題に焦点をあてる。 本稿では,ビデオデコードニューラルモデルと接触力学の先行情報を組み合わせた新しいアーキテクチャを提案する。 モジュラーで完全に差別化可能なアーキテクチャは、目に見えないオブジェクトやモーションの学習専用手法よりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2021-11-09T18:39:45Z)
• Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos [59.58105314783289]
  ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。 DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。 DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
  論文  参考訳（メタデータ） (2021-03-31T05:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。