論文の概要: Zero-Shot Robot Manipulation from Passive Human Videos
- arxiv url: http://arxiv.org/abs/2302.02011v1
- Date: Fri, 3 Feb 2023 21:39:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 20:40:25.969004
- Title: Zero-Shot Robot Manipulation from Passive Human Videos
- Title（参考訳）: 受動型ビデオによるゼロショットロボット操作
- Authors: Homanga Bharadhwaj, Abhinav Gupta, Shubham Tulsiani, Vikash Kumar
- Abstract要約: 我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。
我々の枠組みは、人間の手の動きを予測することに基づいている。
トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
- 参考スコア（独自算出の注目度）: 59.193076151832145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can we learn robot manipulation for everyday tasks, only by watching videos
of humans doing arbitrary tasks in different unstructured settings? Unlike
widely adopted strategies of learning task-specific behaviors or direct
imitation of a human video, we develop a a framework for extracting
agent-agnostic action representations from human videos, and then map it to the
agent's embodiment during deployment. Our framework is based on predicting
plausible human hand trajectories given an initial image of a scene. After
training this prediction model on a diverse set of human videos from the
internet, we deploy the trained model zero-shot for physical robot manipulation
tasks, after appropriate transformations to the robot's embodiment. This simple
strategy lets us solve coarse manipulation tasks like opening and closing
drawers, pushing, and tool use, without access to any in-domain robot
manipulation trajectories. Our real-world deployment results establish a strong
baseline for action prediction information that can be acquired from diverse
arbitrary videos of human activities, and be useful for zero-shot robotic
manipulation in unseen scenes.
- Abstract（参考訳）: ロボットの操作を日々のタスクで学べるのは、人間のビデオを見るだけでよいのか?
タスク固有の行動の学習や人間の映像の直接模倣とは違い,人間の映像からエージェントに依存しない行動表現を抽出し,展開中のエージェントの実施形態にマッピングする枠組みを開発する。
本フレームワークは,シーンの初期像から可視的手指軌跡を推定する手法である。
この予測モデルをインターネットからさまざまな人間のビデオでトレーニングした後、ロボットの実施形態に適切な変換を行った後、トレーニング済みのゼロショットモデルを物理ロボット操作タスクにデプロイする。
このシンプルな戦略は、引き出しの開閉、押し出し、ツールの使用といった粗い操作タスクを、ドメイン内のロボット操作トラジェクタにアクセスせずに解決できます。
我々の実世界の展開結果は、人間の活動の多様な任意ビデオから得られる行動予測情報の強力なベースラインを確立し、目に見えないシーンにおけるゼロショットロボット操作に有用である。
関連論文リスト
- Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - Towards Generalizable Zero-Shot Manipulation via Translating Human
Interaction Plans [58.27029676638521]
我々は、人間の受動的ビデオが、そのようなジェネラリストロボットを学習するための豊富なデータ源であることを示す。
我々は、シーンの現在の画像とゴール画像から将来の手やオブジェクトの設定を予測する人間の計画予測器を学習する。
学習システムは、40個のオブジェクトに一般化する16以上の操作スキルを実現できることを示す。
論文 参考訳（メタデータ） (2023-12-01T18:54:12Z) - Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。
我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。
われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
論文 参考訳（メタデータ） (2023-05-10T16:25:42Z) - HERD: Continuous Human-to-Robot Evolution for Learning from Human
Demonstration [57.045140028275036]
本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。
本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-08T15:56:13Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - Learning by Watching: Physical Imitation of Manipulation Skills from
Human Videos [28.712673809577076]
本稿では,ロボット操作作業のための人間ビデオからの物理模倣手法を提案する。
人間のビデオをロボットドメインに翻訳し,教師なしのキーポイント検出を行う知覚モジュールを設計した。
リーチ、プッシュ、スライディング、コーヒー製造、引き出しの閉鎖を含む5つのロボット操作タスクに対するアプローチの有効性を評価します。
論文 参考訳（メタデータ） (2021-01-18T18:50:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。