論文の概要: HumanPlus: Humanoid Shadowing and Imitation from Humans

• arxiv url: http://arxiv.org/abs/2406.10454v1
• Date: Sat, 15 Jun 2024 00:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:22:43.661825
• Title: HumanPlus: Humanoid Shadowing and Imitation from Humans
• Title（参考訳）: HumanPlus:人間からのシャドウと模倣
• Authors: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn,
• Abstract要約: ヒューマノイドが人間のデータから動きや自律的なスキルを学ぶためのフルスタックシステムを導入する。 まず、既存の40時間動作データセットを用いて、強化学習によるシミュレーションの低レベルポリシーを訓練する。 次に、自己中心型視覚を用いてスキルポリシーを訓練し、ヒューマノイドが自律的に異なるタスクを完了できるようにする。
• 参考スコア（独自算出の注目度）: 82.47551890765202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the key arguments for building robots that have similar form factors to human beings is that we can leverage the massive human data for training. Yet, doing so has remained challenging in practice due to the complexities in humanoid perception and control, lingering physical gaps between humanoids and humans in morphologies and actuation, and lack of a data pipeline for humanoids to learn autonomous skills from egocentric vision. In this paper, we introduce a full-stack system for humanoids to learn motion and autonomous skills from human data. We first train a low-level policy in simulation via reinforcement learning using existing 40-hour human motion datasets. This policy transfers to the real world and allows humanoid robots to follow human body and hand motion in real time using only a RGB camera, i.e. shadowing. Through shadowing, human operators can teleoperate humanoids to collect whole-body data for learning different tasks in the real world. Using the data collected, we then perform supervised behavior cloning to train skill policies using egocentric vision, allowing humanoids to complete different tasks autonomously by imitating human skills. We demonstrate the system on our customized 33-DoF 180cm humanoid, autonomously completing tasks such as wearing a shoe to stand up and walk, unloading objects from warehouse racks, folding a sweatshirt, rearranging objects, typing, and greeting another robot with 60-100% success rates using up to 40 demonstrations. Project website: https://humanoid-ai.github.io/
• Abstract（参考訳）: 人間に類似したフォームファクターを持つロボットを構築する上で重要な論点の1つは、巨大な人間のデータをトレーニングに活用できるということだ。 しかし、実際には、ヒューマノイドの知覚と制御の複雑さ、形態学とアクチュエーターにおけるヒューマノイドと人間の物理的なギャップの狭さ、そしてヒューマノイドが自我中心のビジョンから自律的なスキルを学ぶためのデータパイプラインが欠如しているため、難しいままである。 本稿では,ヒューマノイドが人間のデータから動きや自律的なスキルを学ぶためのフルスタックシステムを提案する。 まず、既存の40時間動作データセットを用いて、強化学習によるシミュレーションの低レベルポリシーを訓練する。 このポリシーは現実世界に移行し、人型ロボットがRGBカメラ(シャドーイング)のみを使用して人体と手の動きをリアルタイムで追跡できるようにする。 シャドーイングによって、人間のオペレーターはヒューマノイドを遠隔操作して、現実世界でさまざまなタスクを学習するための全身データを集めることができる。 収集したデータを用いて、教師付き行動クローニングを行い、自我中心のビジョンを用いてスキルポリシーを訓練し、ヒューマノイドは人間のスキルを模倣することで、自律的に異なるタスクを完了させることができる。 このシステムは,靴を履いて立ち上がって歩く,倉庫のラックから物を降ろす,スウェットシャツを折り畳む,オブジェクトを整理する,タイピングする,60-100%の成功率で他のロボットに挨拶する,など,カスタマイズした33-DoF 180cmのヒューマノイド上で,自律的に作業を行う。 プロジェクトウェブサイト: https://humanoid-ai.github.io/

関連論文リスト

• HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation [50.616995671367704]
  そこで本研究では,人型ロボットが器用な手を備えた,高次元シミュレーション型ロボット学習ベンチマークHumanoidBenchを提案する。 その結果,現在最先端の強化学習アルゴリズムがほとんどのタスクに支障をきたすのに対して,階層的学習アプローチはロバストな低レベルポリシーに支えられた場合,優れた性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:45:44Z)
• Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation [34.65637397405485]
  本稿では,Human to Humanoid(H2O)について紹介する。H2Oは,RGBカメラのみを搭載したヒューマノイドロボットのリアルタイム遠隔操作を実現するフレームワークである。 我々は、これらの洗練された動きを用いてシミュレーションで頑健なリアルタイムヒューマノイド運動模倣機を訓練し、実ヒューマノイドロボットにゼロショットで転送する。 私たちの知る限りでは、学習に基づくリアルタイムな人型ロボット遠隔操作を実現する最初のデモとなる。
  論文  参考訳（メタデータ） (2024-03-07T12:10:41Z)
• Expressive Whole-Body Control for Humanoid Robots [20.132927075816742]
  我々は、人間の動きをできるだけリアルに模倣するために、人間サイズのロボットで全身制御ポリシーを学習する。 シミュレーションとSim2Real転送のトレーニングにより、私たちのポリシーはヒューマノイドロボットを制御して、さまざまなスタイルで歩いたり、人と握手したり、現実世界で人間と踊ったりできる。
  論文  参考訳（メタデータ） (2024-02-26T18:09:24Z)
• Structured World Models from Human Videos [45.08503470821952]
  私たちは、現実世界で、複雑で一般的な行動を直接学習する問題に取り組みます。 そこで本研究では,ロボットが操作スキルを効率よく学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:32Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• SACSoN: Scalable Autonomous Control for Social Navigation [62.59274275261392]
  我々は、社会的に邪魔にならないナビゲーションのための政策の訓練方法を開発した。 この反事実的摂動を最小化することにより、共有空間における人間の自然な振る舞いを変えない方法でロボットに行動を促すことができる。 屋内移動ロボットが人間の傍観者と対話する大規模なデータセットを収集する。
  論文  参考訳（メタデータ） (2023-06-02T19:07:52Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)
• Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
  本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。 対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。 本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T19:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。