論文の概要: OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning

• arxiv url: http://arxiv.org/abs/2406.08858v1
• Date: Thu, 13 Jun 2024 06:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 19:03:54.709307
• Title: OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning
• Title（参考訳）: OmniH2O:ヒト-ヒト-ヒト-ヒト全体遠隔操作と学習
• Authors: Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, Guanya Shi,
• Abstract要約: 我々は,全身型ヒューマノイド遠隔操作・自律学習システムOmniH2Oを提案する。 OmniH2Oは、キネマティックを普遍的な制御インターフェースとして使用することにより、人間の手によるフルサイズのヒューマノイドの制御を可能にする。 6つの日常的なタスクを含む最初のヒューマノイド全体制御データセットOmniH2O-6をリリースし、遠隔操作データセットからヒューマノイド全体スキル学習を実演する。
• 参考スコア（独自算出の注目度）: 45.51662378032706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present OmniH2O (Omni Human-to-Humanoid), a learning-based system for whole-body humanoid teleoperation and autonomy. Using kinematic pose as a universal control interface, OmniH2O enables various ways for a human to control a full-sized humanoid with dexterous hands, including using real-time teleoperation through VR headset, verbal instruction, and RGB camera. OmniH2O also enables full autonomy by learning from teleoperated demonstrations or integrating with frontier models such as GPT-4. OmniH2O demonstrates versatility and dexterity in various real-world whole-body tasks through teleoperation or autonomy, such as playing multiple sports, moving and manipulating objects, and interacting with humans. We develop an RL-based sim-to-real pipeline, which involves large-scale retargeting and augmentation of human motion datasets, learning a real-world deployable policy with sparse sensor input by imitating a privileged teacher policy, and reward designs to enhance robustness and stability. We release the first humanoid whole-body control dataset, OmniH2O-6, containing six everyday tasks, and demonstrate humanoid whole-body skill learning from teleoperated datasets.
• Abstract（参考訳）: 本報告では,OmniH2O(Omni Human-to-Humanoid)について述べる。 キネマティックポーズをユニバーサルコントロールインターフェースとして使用することで、OmniH2Oは、VRヘッドセットによるリアルタイム遠隔操作、口語指導、RGBカメラなど、人間の手によるフルサイズのヒューマノイドのコントロールを可能にする。 OmniH2Oはまた、遠隔操作されたデモから学習したり、GPT-4のようなフロンティアモデルとの統合によって完全な自律性を可能にする。 OmniH2Oは、複数のスポーツをしたり、物体を動かしたり操作したり、人間と対話したりといった、遠隔操作や自律性を通じて、現実世界全体のタスクにおける多彩さと器用さを実演している。 我々は,人間の動作データセットの大規模再ターゲティングと拡張を含むRLベースのsim-to-realパイプラインを開発し,特権的な教師ポリシーを模倣してスパースセンサー入力による実世界の展開可能なポリシを学習し,堅牢性と安定性を高めるための設計に報酬を与える。 6つの日常的なタスクを含む最初のヒューマノイド全体制御データセットOmniH2O-6をリリースし、遠隔操作データセットからヒューマノイド全体スキル学習を実演する。

関連論文リスト

• Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots [13.229028132036321]
  Masked Humanoid Controller (MHC)は、立位、歩行、体の一部の動きの模倣をサポートする。 MHCは、立ち上がり、歩行、最適化された基準軌跡、再ターゲットされたビデオクリップ、人間のモーションキャプチャーデータにまたがる行動のライブラリから、部分的にマスクされた動きを模倣する。 実世界のDigi V3ヒューマノイドロボット上でのシミュレート・トゥ・リアルトランスファーを実演する。
  論文  参考訳（メタデータ） (2024-07-30T09:10:24Z)
• HumanPlus: Humanoid Shadowing and Imitation from Humans [82.47551890765202]
  ヒューマノイドが人間のデータから動きや自律的なスキルを学ぶためのフルスタックシステムを導入する。 まず、既存の40時間動作データセットを用いて、強化学習によるシミュレーションの低レベルポリシーを訓練する。 次に、自己中心型視覚を用いてスキルポリシーを訓練し、ヒューマノイドが自律的に異なるタスクを完了できるようにする。
  論文  参考訳（メタデータ） (2024-06-15T00:41:34Z)
• Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation [34.65637397405485]
  本稿では,Human to Humanoid(H2O)について紹介する。H2Oは,RGBカメラのみを搭載したヒューマノイドロボットのリアルタイム遠隔操作を実現するフレームワークである。 我々は、これらの洗練された動きを用いてシミュレーションで頑健なリアルタイムヒューマノイド運動模倣機を訓練し、実ヒューマノイドロボットにゼロショットで転送する。 私たちの知る限りでは、学習に基づくリアルタイムな人型ロボット遠隔操作を実現する最初のデモとなる。
  論文  参考訳（メタデータ） (2024-03-07T12:10:41Z)
• Expressive Whole-Body Control for Humanoid Robots [20.132927075816742]
  我々は、人間の動きをできるだけリアルに模倣するために、人間サイズのロボットで全身制御ポリシーを学習する。 シミュレーションとSim2Real転送のトレーニングにより、私たちのポリシーはヒューマノイドロボットを制御して、さまざまなスタイルで歩いたり、人と握手したり、現実世界で人間と踊ったりできる。
  論文  参考訳（メタデータ） (2024-02-26T18:09:24Z)
• RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.47045863999061]
  本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。 RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-21T14:59:46Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)
• DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video [86.49357517864937]
  DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。 我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。 DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
  論文  参考訳（メタデータ） (2022-02-01T00:45:57Z)
• Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
  そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。 私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。 学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
  論文  参考訳（メタデータ） (2020-03-20T16:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。