論文の概要: BeyondRetarget: Learning Executable Humanoid Motions Directly from Monocular Video
- arxiv url: http://arxiv.org/abs/2609.29850v1
- Date: Thu, 24 Sep 2026 14:15:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.988841
- Title: BeyondRetarget: Learning Executable Humanoid Motions Directly from Monocular Video
- Title（参考訳）: BeyondRetarget:モノクロビデオから直接、実行可能なヒューマノイドの動きを学習する
- Abstract要約: 本研究では,モノクラーRGBビデオをロボットの動きにマッピングする,エンドツーエンドのフレームワークであるBeyondRetargetを提案する。
このフレームワークは、明示的な人間の表現を識別し、視覚的な観察からロボット指向の暗黙の表現を直接学習する。
実験の結果,BeyondRetargetは生成したロボットの動きの精度と堅牢性を大幅に向上させることがわかった。
- 参考スコア（独自算出の注目度）: 34.97982846901588
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning executable motions from human videos offers a scalable solution for humanoid robots to acquire demonstration motions. However, existing pipelines typically first construct an explicit human motion representation and then convert it into robot motions via motion retargeting. Although such methods can effectively leverage large volumes of existing human data for training, the substantial differences between humans and humanoid robots in locomotion mechanisms and joint degree-of-freedom configurations make motions generated by this human-representation-centric approach difficult to execute on robots. Furthermore, errors introduced during human motion estimation inevitably propagate to the retargeting stage and cannot be eliminated via joint optimization. We propose BeyondRetarget, an end-to-end framework that directly maps monocular RGB videos to robot motions. Discarding the explicit human representation, this framework learns robot-oriented implicit representations directly from visual observations, enabling the model to capture cross-morphology motion structures. To generate motions more suitable for robot execution, we further design a contact-aware motion optimization mechanism to improve temporal consistency and physical plausibility. Experiments show that BeyondRetarget significantly improves the accuracy and robustness of generated robot motions, while achieving higher execution success rates and lower latency in both simulation environments and real humanoid robots.
- Abstract（参考訳）: 人間ビデオから実行可能なモーションを学習することは、人間型ロボットがデモモーションを取得するためのスケーラブルなソリューションを提供する。
しかし、既存のパイプラインは通常、人間の動きを明示的に表現し、ロボットの動きに再ターゲティングすることで変換する。
このような方法は、既存の人間の大量のデータをトレーニングに効果的に活用することができるが、移動機構における人間とヒューマノイドロボットの実質的な違いは、この人間表現中心のアプローチによって生成される動きをロボット上での実行が困難にしている。
さらに、人間の動き推定時に導入された誤差は、必然的に再ターゲティング段階に伝播し、共同最適化によって排除できない。
本研究では,モノラルなRGB動画を直接ロボットの動きにマッピングする,エンドツーエンドのフレームワークであるBeyondRetargetを提案する。
このフレームワークは、明示的な人間の表現を識別し、視覚的な観察からロボット指向の暗黙の表現を直接学習し、モデルがクロスモルフォロジーの運動構造をキャプチャすることを可能にする。
さらに,ロボットの実行に適した動作を生成するために,時間的一貫性と身体的妥当性を向上させるための接触認識動作最適化機構を設計する。
実験により、BeyondRetargetは生成したロボットの動きの精度と堅牢性を大幅に向上するとともに、シミュレーション環境と実際のヒューマノイドロボットの両方において、より高い実行成功率と低レイテンシを実現していることがわかった。
関連論文リスト
- WholeBodyWAM: Learning Whole-Body World Action Models with Scalable Motion Priors [28.761088065994244]
WholeBodyWAMは、ターゲットロボット訓練の前に、大規模な異種運動から全身動態を学習する。
言語条件のモーションエキスパートは、ターゲットロボットアクションの監督なしに、将来の全身の動きを予測するために事前訓練される。
実験により、WholeBodyWAMは運動抑制尺度の増大の恩恵を一貫して受けることが示された。
論文 参考訳（メタデータ） (2026-09-16T06:32:21Z) - Human2Humanoid: Physics-Aware Cross-Morphology Motion Retargeting for Humanoid Robots [9.096721498763717]
人間の動きをヒューマノイドロボットに再ターゲティングすることは、遠隔操作、模倣学習、人間とロボットの相互作用にとって重要である。
本稿では,人間の動作を高忠実度なヒューマノイドロボットに伝達する,教師なし動作フレームワークであるHuman2Humanを提案する。
実験の結果, 提案手法は, ペアデータを持たないユニトリーG1ヒューマノイドロボットに対して, 人間の動きを的確に再現することに成功した。
論文 参考訳（メタデータ） (2026-06-02T10:53:06Z) - PhyGile: Physics-Prefix Guided Motion Generation for Agile General Humanoid Motion Tracking [23.96905373874686]
本稿では,ロボットネイティブ動作生成と推論のループを閉じる統合フレームワークであるPhyGileを紹介する。
我々は,GMTコントローラをカリキュラムベースのMix-of-expertsスキームでトレーニングし,その後,大規模ロボット動作に対するロバスト性を改善するためにラベル付き動作データを用いた後学習を行った。
PhyGileはテキスト駆動型ヒューマノイドコントロールのフロンティアを拡張し、アジャイルの安定したトラッキングを可能にする。
論文 参考訳（メタデータ） (2026-03-13T06:43:44Z) - ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。
提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。
ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2026-03-10T04:19:43Z) - MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。
現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
論文 参考訳（メタデータ） (2026-02-17T17:09:45Z) - EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。
スケーラブルな人的データ収集のためのポータブルシステムを開発した。
論文 参考訳（メタデータ） (2026-02-10T18:59:03Z) - FRoM-W1: Towards General Humanoid Whole-Body Control with Language Instructions [147.04372611893032]
FRoM-W1は、自然言語を用いた一般的なヒューマノイド全体の動作制御を実現するために設計されたオープンソースのフレームワークである。
我々はUnitree H1とG1ロボット上でFRoM-W1を広範囲に評価した。
その結果,HumanML3D-Xベンチマークにおいて,人体全体の動作生成に優れた性能を示した。
論文 参考訳（メタデータ） (2026-01-19T07:59:32Z) - From Language to Locomotion: Retargeting-free Humanoid Control via Motion Latent Guidance [55.31807046722006]
既存の言語誘導型ヒューマノイドパイプラインは面倒で信頼できない。
本稿では,言語を基盤とした動作潜伏者に対してヒューマノイドポリシーを規定する言語フリーフレームワークであるRoboGhostを紹介する。
我々は,RoboGhostがデプロイメントの遅延を大幅に低減し,成功率と精度を向上し,スムーズでセマンティックに整合したヒューマノイドを生成することを示す。
論文 参考訳（メタデータ） (2025-10-16T17:57:47Z) - Implicit Kinodynamic Motion Retargeting for Human-to-humanoid Imitation Learning [35.8296790596745]
Implicit Kinodynamic Motion Retargeting (IKMR)は、キネマティクスとダイナミックスの両方を考慮した、効率的でスケーラブルなフレームワークである。
IKMRは、モーション領域マッピングを学ぶために、モーショントポロジ表現とデュアルエンコーダデコーダアーキテクチャを事前訓練する。
実物大のヒューマノイドロボットでシミュレータと実物ロボットの両方で実験を行う。
論文 参考訳（メタデータ） (2025-09-18T21:34:02Z) - ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space [9.806227900768926]
本稿では,ロボットの動きに対する新しいディープラーニング手法を提案する。
本手法では,新しいロボットへの翻訳を容易にする,人間とロボットのペアデータを必要としない。
我々のモデルは、効率と精度の観点から、人間とロボットの類似性に関する既存の研究よりも優れています。
論文 参考訳（メタデータ） (2023-09-11T08:55:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。