論文の概要: Hand-Object Interaction Pretraining from Videos

• arxiv url: http://arxiv.org/abs/2409.08273v1
• Date: Thu, 12 Sep 2024 17:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 15:24:38.773052
• Title: Hand-Object Interaction Pretraining from Videos
• Title（参考訳）: ビデオから学ぶ手動物体のインタラクション
• Authors: Himanshu Gaurav Singh, Antonio Loquercio, Carmelo Sferrazza, Jane Wu, Haozhi Qi, Pieter Abbeel, Jitendra Malik,
• Abstract要約: 我々は,3次元ハンドオブジェクトインタラクショントラジェクトリから,一般的なロボット操作を学習する。 人間の手と操作された物体を3D空間で共有し、人間の動きをロボットの動きと共有する。 我々は、このポリシーを、強化学習(RL)と行動クローニング(BC)の両方で微調整することで、下流タスクへのサンプル効率の適応を可能にし、従来のアプローチと比較して堅牢性と一般化性を同時に改善できることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 77.92637809322231
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present an approach to learn general robot manipulation priors from 3D hand-object interaction trajectories. We build a framework to use in-the-wild videos to generate sensorimotor robot trajectories. We do so by lifting both the human hand and the manipulated object in a shared 3D space and retargeting human motions to robot actions. Generative modeling on this data gives us a task-agnostic base policy. This policy captures a general yet flexible manipulation prior. We empirically demonstrate that finetuning this policy, with both reinforcement learning (RL) and behavior cloning (BC), enables sample-efficient adaptation to downstream tasks and simultaneously improves robustness and generalizability compared to prior approaches. Qualitative experiments are available at: \url{https://hgaurav2k.github.io/hop/}.
• Abstract（参考訳）: 本稿では,3次元ハンドオブジェクトインタラクショントラジェクトリから,一般的なロボット操作を学習するためのアプローチを提案する。 我々は,触覚ロボットの軌跡を生成するためのフレームワークを構築した。 人間の手と操作対象を共有した3D空間で持ち上げ、人間の動きをロボットの動作に再ターゲットすることで実現します。 このデータに基づく生成モデリングは、タスクに依存しない基本ポリシーを提供します。 このポリシーは、以前の一般的な、フレキシブルな操作をキャプチャする。 我々は、このポリシーを、強化学習(RL)と行動クローニング(BC)の両方で微調整することで、下流タスクへのサンプル効率の適応を可能にし、従来のアプローチと比較して堅牢性と一般化性を同時に改善できることを実証的に実証した。 定性的実験は以下の通りである。

関連論文リスト

• HACMan++: Spatially-Grounded Motion Primitives for Manipulation [28.411361363637006]
  本稿では,HACMan++における空間的パラメータ化動作プリミティブについて紹介する。 環境中の空間的位置にプリミティブを接地することで、オブジェクトの形状を効果的に一般化し、バリエーションを表現できる。 提案手法は既存の手法,特に高レベルシーケンシャル推論とオブジェクト一般化の両方を必要とする複雑なシナリオにおいて,優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-07-11T15:10:14Z)
• Dreamitate: Real-World Visuomotor Policy Learning via Video Generation [49.03287909942888]
  本研究では,与えられたタスクの人間による実演の映像拡散モデルを微調整するビジュモータポリシー学習フレームワークを提案する。 我々は,新しいシーンの画像に条件付きタスクの実行例を生成し,この合成された実行を直接使用してロボットを制御する。
  論文  参考訳（メタデータ） (2024-06-24T17:59:45Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• Decoupling Skill Learning from Robotic Control for Generalizable Object Manipulation [35.34044822433743]
  ロボット操作の最近の研究は、様々なタスクに取り組む可能性を示している。 これは関節制御のための高次元の作用空間によるものであると推測する。 本稿では,「何をすべきか」を「どうやるか」から「どうやるか」を学習するタスクを,別のアプローチで分離する。 ロボットキネマティック・コントロールは、作業空間のゴールに到達するために高次元の関節運動を実行するように最適化されている。
  論文  参考訳（メタデータ） (2023-03-07T16:31:13Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation [118.27432851053335]
  本稿では,SAPIEN ManiSkill Challenge 2021: No Interaction Trackにおいて,以下の2つのトラックを対象としたシステムの概要と比較分析を行った。 No Interactionは、事前に収集された実証軌道からの学習ポリシーのターゲットを追跡する。 このトラックでは,タスクを一連のサブタスクに分解することで,高品質なオブジェクト操作をトリガするHuristic Rule-based Method (HRM) を設計する。 各サブタスクに対して、ロボットアームに適用可能なアクションを予測するために、単純なルールベースの制御戦略が採用されている。
  論文  参考訳（メタデータ） (2022-06-13T16:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。