論文の概要: Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots
- arxiv url: http://arxiv.org/abs/2408.07295v1
- Date: Tue, 30 Jul 2024 09:10:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 03:35:49.374764
- Title: Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots
- Title（参考訳）: 実世界ヒューマノイドロボットのための多モード全体制御の学習
- Authors: Pranay Dugar, Aayam Shrestha, Fangzhou Yu, Bart van Marum, Alan Fern,
- Abstract要約: そこで我々は,MHC (Masked Humanoid Controller) を導入し,ヒューマノイド状態変数の任意の部分集合上での目標軌道の全体追跡を行う。
これにより、ビデオ、モーションキャプチャ、VRといった様々なソースから全身の動きを実現することができ、障害に対するバランスと堅牢性を確保することができる。
- 参考スコア（独自算出の注目度）: 13.229028132036321
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the Masked Humanoid Controller (MHC) for whole-body tracking of target trajectories over arbitrary subsets of humanoid state variables. This enables the realization of whole-body motions from diverse sources such as video, motion capture, and VR, while ensuring balance and robustness against disturbances. The MHC is trained in simulation using a carefully designed curriculum that imitates partially masked motions from a library of behaviors spanning pre-trained policy rollouts, optimized reference trajectories, re-targeted video clips, and human motion capture data. We showcase simulation experiments validating the MHC's ability to execute a wide variety of behavior from partially-specified target motions. Moreover, we also highlight sim-to-real transfer as demonstrated by real-world trials on the Digit humanoid robot. To our knowledge, this is the first instance of a learned controller that can realize whole-body control of a real-world humanoid for such diverse multi-modal targets.
- Abstract（参考訳）: そこで我々は,MHC (Masked Humanoid Controller) を導入し,ヒューマノイド状態変数の任意の部分集合上での目標軌道の全体追跡を行う。
これにより、ビデオ、モーションキャプチャ、VRといった様々なソースから全身の動きを実現することができ、障害に対するバランスと堅牢性を確保することができる。
MHCは、事前訓練されたポリシーのロールアウト、最適化された基準軌跡、再ターゲットされたビデオクリップ、人間のモーションキャプチャーデータにまたがる行動のライブラリから部分的にマスクされた動きを模倣する、慎重に設計されたカリキュラムを使用してシミュレーションで訓練されている。
本稿では、MHCが部分的に特定された目標運動から多種多様な動作を実行する能力を検証したシミュレーション実験を紹介する。
さらに、Digitoのヒューマノイドロボットの現実世界での試行で実証されたシム・トゥ・リアル・トランスファーも強調する。
我々の知る限りでは、このような多様なマルチモーダルターゲットに対して、現実世界のヒューマノイドの全身制御を実現することができる学習コントローラとしては、これが初めてである。
関連論文リスト
- Zero-Cost Whole-Body Teleoperation for Mobile Manipulation [8.71539730969424]
MoMa-Teleopは、ベースモーションを強化学習エージェントに委譲する新しい遠隔操作手法である。
提案手法は,様々なロボットやタスクに対して,タスク完了時間が大幅に短縮されることを実証する。
論文 参考訳（メタデータ） (2024-09-23T15:09:45Z) - Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation [34.65637397405485]
本稿では,Human to Humanoid(H2O)について紹介する。H2Oは,RGBカメラのみを搭載したヒューマノイドロボットのリアルタイム遠隔操作を実現するフレームワークである。
我々は、これらの洗練された動きを用いてシミュレーションで頑健なリアルタイムヒューマノイド運動模倣機を訓練し、実ヒューマノイドロボットにゼロショットで転送する。
私たちの知る限りでは、学習に基づくリアルタイムな人型ロボット遠隔操作を実現する最初のデモとなる。
論文 参考訳（メタデータ） (2024-03-07T12:10:41Z) - Expressive Whole-Body Control for Humanoid Robots [20.132927075816742]
我々は、人間の動きをできるだけリアルに模倣するために、人間サイズのロボットで全身制御ポリシーを学習する。
シミュレーションとSim2Real転送のトレーニングにより、私たちのポリシーはヒューマノイドロボットを制御して、さまざまなスタイルで歩いたり、人と握手したり、現実世界で人間と踊ったりできる。
論文 参考訳（メタデータ） (2024-02-26T18:09:24Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - Perpetual Humanoid Control for Real-time Simulated Avatars [77.05287269685911]
本稿では,高忠実度動作模倣と耐故障動作を実現する物理に基づくヒューマノイドコントローラを提案する。
コントローラは、外部の安定化力を使わずに1万本のモーションクリップを学習できる。
実時間およびリアルタイムのマルチパーソンアバター使用事例において,映像ベースのポーズ推定器と言語ベースのモーションジェネレータからノイズのあるポーズを模倣するために,制御器の有効性を実証する。
論文 参考訳（メタデータ） (2023-05-10T20:51:37Z) - Real-World Humanoid Locomotion with Reinforcement Learning [92.85934954371099]
実世界におけるヒューマノイド移動に対する完全学習型アプローチを提案する。
コントローラーは様々な屋外の地形の上を歩けるし、外乱に対して頑丈で、状況に応じて適応できる。
論文 参考訳（メタデータ） (2023-03-06T18:59:09Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:25:54Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳（メタデータ） (2021-11-15T18:50:04Z) - Residual Force Control for Agile Human Behavior Imitation and Extended
Motion Synthesis [32.22704734791378]
強化学習は、モーションキャプチャーデータからヒューマノイド制御ポリシーを学習することで、現実的な人間の行動に大きな可能性を示してきた。
バレエダンスのような洗練された人間のスキルを再現することや、複雑な移行を伴う長期的な人間の振る舞いを安定して模倣することは、依然として非常に困難である。
動作空間に外部残留力を加えることでヒューマノイド制御ポリシーを強化する新しいアプローチである残留力制御(RFC)を提案する。
論文 参考訳（メタデータ） (2020-06-12T17:56:16Z) - Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。
私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。
学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
論文 参考訳（メタデータ） (2020-03-20T16:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。