論文の概要: HumanPlus: Humanoid Shadowing and Imitation from Humans
- arxiv url: http://arxiv.org/abs/2406.10454v1
- Date: Sat, 15 Jun 2024 00:41:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 00:22:43.661825
- Title: HumanPlus: Humanoid Shadowing and Imitation from Humans
- Title（参考訳）: HumanPlus:人間からのシャドウと模倣
- Authors: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn,
- Abstract要約: ヒューマノイドが人間のデータから動きや自律的なスキルを学ぶためのフルスタックシステムを導入する。
まず、既存の40時間動作データセットを用いて、強化学習によるシミュレーションの低レベルポリシーを訓練する。
次に、自己中心型視覚を用いてスキルポリシーを訓練し、ヒューマノイドが自律的に異なるタスクを完了できるようにする。
- 参考スコア（独自算出の注目度）: 82.47551890765202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the key arguments for building robots that have similar form factors to human beings is that we can leverage the massive human data for training. Yet, doing so has remained challenging in practice due to the complexities in humanoid perception and control, lingering physical gaps between humanoids and humans in morphologies and actuation, and lack of a data pipeline for humanoids to learn autonomous skills from egocentric vision. In this paper, we introduce a full-stack system for humanoids to learn motion and autonomous skills from human data. We first train a low-level policy in simulation via reinforcement learning using existing 40-hour human motion datasets. This policy transfers to the real world and allows humanoid robots to follow human body and hand motion in real time using only a RGB camera, i.e. shadowing. Through shadowing, human operators can teleoperate humanoids to collect whole-body data for learning different tasks in the real world. Using the data collected, we then perform supervised behavior cloning to train skill policies using egocentric vision, allowing humanoids to complete different tasks autonomously by imitating human skills. We demonstrate the system on our customized 33-DoF 180cm humanoid, autonomously completing tasks such as wearing a shoe to stand up and walk, unloading objects from warehouse racks, folding a sweatshirt, rearranging objects, typing, and greeting another robot with 60-100% success rates using up to 40 demonstrations. Project website: https://humanoid-ai.github.io/
- Abstract（参考訳）: 人間に類似したフォームファクターを持つロボットを構築する上で重要な論点の1つは、巨大な人間のデータをトレーニングに活用できるということだ。
しかし、実際には、ヒューマノイドの知覚と制御の複雑さ、形態学とアクチュエーターにおけるヒューマノイドと人間の物理的なギャップの狭さ、そしてヒューマノイドが自我中心のビジョンから自律的なスキルを学ぶためのデータパイプラインが欠如しているため、難しいままである。
本稿では,ヒューマノイドが人間のデータから動きや自律的なスキルを学ぶためのフルスタックシステムを提案する。
まず、既存の40時間動作データセットを用いて、強化学習によるシミュレーションの低レベルポリシーを訓練する。
このポリシーは現実世界に移行し、人型ロボットがRGBカメラ(シャドーイング)のみを使用して人体と手の動きをリアルタイムで追跡できるようにする。
シャドーイングによって、人間のオペレーターはヒューマノイドを遠隔操作して、現実世界でさまざまなタスクを学習するための全身データを集めることができる。
収集したデータを用いて、教師付き行動クローニングを行い、自我中心のビジョンを用いてスキルポリシーを訓練し、ヒューマノイドは人間のスキルを模倣することで、自律的に異なるタスクを完了させることができる。
このシステムは,靴を履いて立ち上がって歩く,倉庫のラックから物を降ろす,スウェットシャツを折り畳む,オブジェクトを整理する,タイピングする,60-100%の成功率で他のロボットに挨拶する,など,カスタマイズした33-DoF 180cmのヒューマノイド上で,自律的に作業を行う。
プロジェクトウェブサイト: https://humanoid-ai.github.io/
関連論文リスト
- HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit [52.12750762494588]
現在のヒューマノイド遠隔操作システムは、信頼性の高い低レベル制御ポリシーを欠いているか、または正確な全身制御コマンドを取得するのに苦労している。
本稿では,ヒューマノイドのロコ操作ポリシと低コストなエクソスケルトン型ハードウェアシステムを統合した,新しいヒューマノイド遠隔操作コックピットを提案する。
論文 参考訳（メタデータ） (2025-02-18T16:33:38Z) - Learning from Massive Human Videos for Universal Humanoid Pose Control [46.417054298537195]
本稿では,2000万以上のヒューマノイドロボットの大規模データセットであるHumanoid-Xを紹介する。
我々は、テキスト命令を入力として受け取り、対応する動作を出力してヒューマノイドロボットを制御する、大きなヒューマノイドモデルUH-1を訓練する。
私たちのスケーラブルなトレーニングアプローチは、テキストベースのヒューマノイド制御の優れた一般化につながります。
論文 参考訳（メタデータ） (2024-12-18T18:59:56Z) - Generalizable Humanoid Manipulation with 3D Diffusion Policies [41.23383596258797]
我々は、ヒューマノイドロボットによる自律的な操作の問題を解決するために、現実世界のロボットシステムを構築している。
本システムは主に,人型ロボットデータを取得するための全身ロボット遠隔操作システムと,高さ調整可能なカートと3D LiDARセンサを備えた25-DoFヒューマノイドロボットプラットフォームの統合である。
1つのシーンで収集されたデータのみを使用し、オンボードコンピューティングのみで、フルサイズのヒューマノイドロボットが様々な現実世界のシナリオで自律的にスキルを発揮できることが示される。
論文 参考訳（メタデータ） (2024-10-14T17:59:00Z) - HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation [50.616995671367704]
そこで本研究では,人型ロボットが器用な手を備えた,高次元シミュレーション型ロボット学習ベンチマークHumanoidBenchを提案する。
その結果,現在最先端の強化学習アルゴリズムがほとんどのタスクに支障をきたすのに対して,階層的学習アプローチはロバストな低レベルポリシーに支えられた場合,優れた性能を達成できることがわかった。
論文 参考訳（メタデータ） (2024-03-15T17:45:44Z) - Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation [34.65637397405485]
本稿では,Human to Humanoid(H2O)について紹介する。H2Oは,RGBカメラのみを搭載したヒューマノイドロボットのリアルタイム遠隔操作を実現するフレームワークである。
我々は、これらの洗練された動きを用いてシミュレーションで頑健なリアルタイムヒューマノイド運動模倣機を訓練し、実ヒューマノイドロボットにゼロショットで転送する。
私たちの知る限りでは、学習に基づくリアルタイムな人型ロボット遠隔操作を実現する最初のデモとなる。
論文 参考訳（メタデータ） (2024-03-07T12:10:41Z) - Expressive Whole-Body Control for Humanoid Robots [20.132927075816742]
我々は、人間の動きをできるだけリアルに模倣するために、人間サイズのロボットで全身制御ポリシーを学習する。
シミュレーションとSim2Real転送のトレーニングにより、私たちのポリシーはヒューマノイドロボットを制御して、さまざまなスタイルで歩いたり、人と握手したり、現実世界で人間と踊ったりできる。
論文 参考訳（メタデータ） (2024-02-26T18:09:24Z) - HERD: Continuous Human-to-Robot Evolution for Learning from Human
Demonstration [57.045140028275036]
本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。
本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-08T15:56:13Z) - Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。
対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。
本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
論文 参考訳（メタデータ） (2020-03-12T19:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。