論文の概要: Real-Time Whole-Body Teleoperation of a Humanoid Robot Using IMU-Based Motion Capture with Sim2Sim and Sim2Real Validation
- arxiv url: http://arxiv.org/abs/2605.12347v1
- Date: Tue, 12 May 2026 16:22:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:57.009088
- Title: Real-Time Whole-Body Teleoperation of a Humanoid Robot Using IMU-Based Motion Capture with Sim2Sim and Sim2Real Validation
- Title（参考訳）: Sim2SimおよびSim2Real Validationを用いたIMUモーションキャプチャを用いたヒューマノイドロボットのリアルタイム全体遠隔操作
- Authors: Hamza Ahmed Durrani, Suleman Khan,
- Abstract要約: 本稿では,Unitree G1ヒューマノイドロボットで記録されたリアルタイム全体遠隔操作システムを提案する。
オフラインバッファリングや学習ベースのコンポーネントを使わずに、連続的かつ低レイテンシな操作のために設計された、独自のモーションプロセッシング、キネマティック、制御パイプラインを導入します。
実験結果から,歩行,立位,座位,旋回,ボウイング,コーディネートされたフルボディジェスチャーなど,広い運動レパートリーの安定かつ同期的な再現が示された。
- 参考スコア（独自算出の注目度）: 0.7325481380690131
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stable, low-latency whole-body teleoperation of humanoid robots is an open research challenge, complicated by kinematic mismatches between human and robot morphologies, accumulated inertial sensor noise, non-trivial control latency, and persistent sim-to-real transfer gaps. This paper presents a complete real-time whole-body teleoperation system that maps human motion, recorded with a Virdyn IMU-based full-body motion capture suit, directly onto a Unitree G1 humanoid robot. We introduce a custom motion-processing, kinematic retargeting, and control pipeline engineered for continuous, low-latency operation without any offline buffering or learning-based components. The system is first validated in simulation using the MuJoCo physics model of the Unitree G1 (sim2sim), and then deployed without modification on the physical platform (sim2real). Experimental results demonstrate stable, synchronized reproduction of a broad motion repertoire, including walking, standing, sitting, turning, bowing, and coordinated expressive full-body gestures. This work establishes a practical, scalable framework for whole-body humanoid teleoperation using commodity wearable motion capture hardware.
- Abstract（参考訳）: ヒューマノイドロボットの安定かつ低レイテンシ全体遠隔操作はオープンな研究課題であり、人間とロボットの運動的ミスマッチ、蓄積された慣性センサーノイズ、非自明な制御遅延、永続的なsim-to-real転送ギャップによって複雑になる。
本稿では,Virdin IMUをベースとしたフルボディモーションキャプチャスーツで記録された人間の動きを,Unitree G1ヒューマノイドロボットに直接マッピングする,完全リアルタイム全体遠隔操作システムを提案する。
オフラインバッファリングや学習ベースのコンポーネントを使わずに、連続的かつ低レイテンシな操作のために設計された、独自のモーション処理、キネマティックリターゲティング、制御パイプラインを導入します。
このシステムはまずUnitree G1(sim2sim)のMuJoCo物理モデルを用いてシミュレーションで検証され、その後物理プラットフォーム(sim2real)に変更することなくデプロイされる。
実験結果から,歩行,立位,座位,旋回,ボウイング,コーディネートされたフルボディジェスチャーなど,広い運動レパートリーの安定かつ同期的な再現が示された。
本研究は,コモディティウェアラブルモーションキャプチャハードウェアを用いた全身ヒューマノイド遠隔操作のための実用的でスケーラブルなフレームワークを確立する。
関連論文リスト
- ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。
提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。
ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2026-03-10T04:19:43Z) - EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents [85.77432303199176]
EmbodMocapは2つの動くiPhoneを使ったポータブルで安価なデータ収集パイプラインである。
私たちのキーとなるアイデアは、二重RGB-Dシーケンスを共同で校正し、人間とシーンの両方を再構築することです。
収集したデータに基づいて、我々は3つの具体的AIタスクを強化した: モノクラーヒューマン・シーン・リコンストラクション(モノクラーヒューマン・シーン・リコンストラクション)、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション。
論文 参考訳（メタデータ） (2026-02-26T16:53:41Z) - FRoM-W1: Towards General Humanoid Whole-Body Control with Language Instructions [147.04372611893032]
FRoM-W1は、自然言語を用いた一般的なヒューマノイド全体の動作制御を実現するために設計されたオープンソースのフレームワークである。
我々はUnitree H1とG1ロボット上でFRoM-W1を広範囲に評価した。
その結果,HumanML3D-Xベンチマークにおいて,人体全体の動作生成に優れた性能を示した。
論文 参考訳（メタデータ） (2026-01-19T07:59:32Z) - Semantic Co-Speech Gesture Synthesis and Real-Time Control for Humanoid Robots [5.531678625546847]
本稿では,意味論的に意味のある共同音声ジェスチャーを合成し,人間型ロボット上でリアルタイムに展開する,革新的なエンドツーエンドフレームワークを提案する。
私たちの中核的なイノベーションは、セマンティックスを意識したジェスチャー合成モジュールの巧妙な統合にあります。
本システムでは, セマンティックに適切かつリズミカルにコヒーレントなジェスチャーを生成する。
論文 参考訳（メタデータ） (2025-12-19T02:55:10Z) - ResMimic: From General Motion Tracking to Humanoid Whole-body Loco-Manipulation via Residual Learning [59.64325421657381]
ヒューマノイド全体のロコ操作は、日々のサービスや倉庫のタスクにトランスフォーメーション機能を約束する。
ResMimicは、人間の動作データから正確に表現力のあるヒューマノイド制御のための2段階の残差学習フレームワークである。
結果は、強いベースラインよりもタスク成功、トレーニング効率、堅牢性が大幅に向上したことを示している。
論文 参考訳（メタデータ） (2025-10-06T17:47:02Z) - TWIST: Teleoperated Whole-Body Imitation System [28.597388162969057]
全身動作模倣によるヒューマノイド遠隔操作システムTWISTについて述べる。
我々は,強化学習と行動クローニングを組み合わせた,頑健で適応的で応答性の高い全身制御装置を開発した。
TWISTは、現実世界のヒューマノイドロボットが、前例のない、多目的で、調整された全身運動能力を達成できるようにする。
論文 参考訳（メタデータ） (2025-05-05T17:59:03Z) - Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots [13.229028132036321]
Masked Humanoid Controller (MHC)は、立位、歩行、体の一部の動きの模倣をサポートする。
MHCは、立ち上がり、歩行、最適化された基準軌跡、再ターゲットされたビデオクリップ、人間のモーションキャプチャーデータにまたがる行動のライブラリから、部分的にマスクされた動きを模倣する。
実世界のDigi V3ヒューマノイドロボット上でのシミュレート・トゥ・リアルトランスファーを実演する。
論文 参考訳（メタデータ） (2024-07-30T09:10:24Z) - Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation [34.65637397405485]
本稿では,Human to Humanoid(H2O)について紹介する。H2Oは,RGBカメラのみを搭載したヒューマノイドロボットのリアルタイム遠隔操作を実現するフレームワークである。
我々は、これらの洗練された動きを用いてシミュレーションで頑健なリアルタイムヒューマノイド運動模倣機を訓練し、実ヒューマノイドロボットにゼロショットで転送する。
私たちの知る限りでは、学習に基づくリアルタイムな人型ロボット遠隔操作を実現する最初のデモとなる。
論文 参考訳（メタデータ） (2024-03-07T12:10:41Z) - Skeleton2Humanoid: Animating Simulated Characters for
Physically-plausible Motion In-betweening [59.88594294676711]
現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。
テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。
挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
論文 参考訳（メタデータ） (2022-10-09T16:15:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。