論文の概要: Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots
- arxiv url: http://arxiv.org/abs/2408.07295v1
- Date: Tue, 30 Jul 2024 09:10:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 03:35:49.374764
- Title: Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots
- Title（参考訳）: 実世界ヒューマノイドロボットのための多モード全体制御の学習
- Authors: Pranay Dugar, Aayam Shrestha, Fangzhou Yu, Bart van Marum, Alan Fern,
- Abstract要約: そこで我々は,MHC (Masked Humanoid Controller) を導入し,ヒューマノイド状態変数の任意の部分集合上での目標軌道の全体追跡を行う。
これにより、ビデオ、モーションキャプチャ、VRといった様々なソースから全身の動きを実現することができ、障害に対するバランスと堅牢性を確保することができる。
- 参考スコア（独自算出の注目度）: 13.229028132036321
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the Masked Humanoid Controller (MHC) for whole-body tracking of target trajectories over arbitrary subsets of humanoid state variables. This enables the realization of whole-body motions from diverse sources such as video, motion capture, and VR, while ensuring balance and robustness against disturbances. The MHC is trained in simulation using a carefully designed curriculum that imitates partially masked motions from a library of behaviors spanning pre-trained policy rollouts, optimized reference trajectories, re-targeted video clips, and human motion capture data. We showcase simulation experiments validating the MHC's ability to execute a wide variety of behavior from partially-specified target motions. Moreover, we also highlight sim-to-real transfer as demonstrated by real-world trials on the Digit humanoid robot. To our knowledge, this is the first instance of a learned controller that can realize whole-body control of a real-world humanoid for such diverse multi-modal targets.
- Abstract（参考訳）: そこで我々は,MHC (Masked Humanoid Controller) を導入し,ヒューマノイド状態変数の任意の部分集合上での目標軌道の全体追跡を行う。
これにより、ビデオ、モーションキャプチャ、VRといった様々なソースから全身の動きを実現することができ、障害に対するバランスと堅牢性を確保することができる。
MHCは、事前訓練されたポリシーのロールアウト、最適化された基準軌跡、再ターゲットされたビデオクリップ、人間のモーションキャプチャーデータにまたがる行動のライブラリから部分的にマスクされた動きを模倣する、慎重に設計されたカリキュラムを使用してシミュレーションで訓練されている。
本稿では、MHCが部分的に特定された目標運動から多種多様な動作を実行する能力を検証したシミュレーション実験を紹介する。
さらに、Digitoのヒューマノイドロボットの現実世界での試行で実証されたシム・トゥ・リアル・トランスファーも強調する。
我々の知る限りでは、このような多様なマルチモーダルターゲットに対して、現実世界のヒューマノイドの全身制御を実現することができる学習コントローラとしては、これが初めてである。
関連論文リスト
- HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit [52.12750762494588]
現在のヒューマノイド遠隔操作システムは、信頼性の高い低レベル制御ポリシーを欠いているか、または正確な全身制御コマンドを取得するのに苦労している。
本稿では,ヒューマノイドのロコ操作ポリシと低コストなエクソスケルトン型ハードウェアシステムを統合した,新しいヒューマノイド遠隔操作コックピットを提案する。
論文 参考訳（メタデータ） (2025-02-18T16:33:38Z) - Learning Humanoid Standing-up Control across Diverse Postures [27.79222176982376]
本稿では,立ち上がり制御をゼロから学習する強化学習フレームワークであるHoST(Humanoid Standing-up Control)を提案する。
HoSTは、多面的アーキテクチャと多様なシミュレーション地形におけるカリキュラムベースのトレーニングを活用して、姿勢適応運動を効果的に学習する。
実験結果から, 各種実験室および屋外環境におけるスムーズ, 安定, 頑健な立位運動が得られた。
論文 参考訳（メタデータ） (2025-02-12T13:10:09Z) - Generating Physically Realistic and Directable Human Motions from Multi-Modal Inputs [16.41735119504929]
この研究は、望まれる動きを部分的にしか特定できないマルチモーダル入力から現実的で物理的に人間の行動を生成することに焦点を当てている。
入力は、腕の動きと身体の速度、部分的なキーポイントアニメーション、ビデオに適用されたコンピュータビジョン、さらにはより高いレベルの運動目標を提供するVRコントローラから得られる。
Masked Humanoid Controller (MHC) は,多目的模倣学習を多目的マスク型動作実証に適用する新しい手法である。
論文 参考訳（メタデータ） (2025-02-08T17:02:11Z) - ExBody2: Advanced Expressive Humanoid Whole-Body Control [16.69009772546575]
動作を模倣するヒューマノイドを制御できる全身追跡フレームワークであるExBody2を提案する。
モデルは強化学習(Reinforcement Learning)を用いてシミュレーションでトレーニングされ、その後現実世界に移行する。
2つのヒューマノイドプラットフォーム上で実験を行い、最先端技術に対するアプローチの優位性を実証する。
論文 参考訳（メタデータ） (2024-12-17T18:59:51Z) - Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation [34.65637397405485]
本稿では,Human to Humanoid(H2O)について紹介する。H2Oは,RGBカメラのみを搭載したヒューマノイドロボットのリアルタイム遠隔操作を実現するフレームワークである。
我々は、これらの洗練された動きを用いてシミュレーションで頑健なリアルタイムヒューマノイド運動模倣機を訓練し、実ヒューマノイドロボットにゼロショットで転送する。
私たちの知る限りでは、学習に基づくリアルタイムな人型ロボット遠隔操作を実現する最初のデモとなる。
論文 参考訳（メタデータ） (2024-03-07T12:10:41Z) - Expressive Whole-Body Control for Humanoid Robots [20.132927075816742]
我々は、人間の動きをできるだけリアルに模倣するために、人間サイズのロボットで全身制御ポリシーを学習する。
シミュレーションとSim2Real転送のトレーニングにより、私たちのポリシーはヒューマノイドロボットを制御して、さまざまなスタイルで歩いたり、人と握手したり、現実世界で人間と踊ったりできる。
論文 参考訳（メタデータ） (2024-02-26T18:09:24Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - Perpetual Humanoid Control for Real-time Simulated Avatars [77.05287269685911]
本稿では,高忠実度動作模倣と耐故障動作を実現する物理に基づくヒューマノイドコントローラを提案する。
コントローラは、外部の安定化力を使わずに1万本のモーションクリップを学習できる。
実時間およびリアルタイムのマルチパーソンアバター使用事例において,映像ベースのポーズ推定器と言語ベースのモーションジェネレータからノイズのあるポーズを模倣するために,制御器の有効性を実証する。
論文 参考訳（メタデータ） (2023-05-10T20:51:37Z) - Real-World Humanoid Locomotion with Reinforcement Learning [92.85934954371099]
実世界におけるヒューマノイド移動に対する完全学習型アプローチを提案する。
コントローラーは様々な屋外の地形の上を歩けるし、外乱に対して頑丈で、状況に応じて適応できる。
論文 参考訳（メタデータ） (2023-03-06T18:59:09Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:25:54Z) - Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。
私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。
学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
論文 参考訳（メタデータ） (2020-03-20T16:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。