論文の概要: From Video to Vision: Learning Generalizable Humanoid Carrying from Human Motion

• arxiv url: http://arxiv.org/abs/2610.14561v1
• Date: Sat, 10 Oct 2026 04:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:59:37.30645
• Title: From Video to Vision: Learning Generalizable Humanoid Carrying from Human Motion
• Title（参考訳）: 映像から視覚へ:人間の動きから一般のヒューマノイドを学べる
• Abstract要約: ヒューマノイド物体搬送のための多段階教師支援学習フレームワークである textbfMOVER を提案する。 まず、ビデオからデータを収集し、GENMOとGMRを使ってビデオデータを再ターゲティングする。 テキストbf秒の段階では、参照動作の追跡を緩和し、報酬を調整することにより、ヒューマノイドが異なる位置から物体を輸送することを学ぶ。 我々はさらに、実際のヒューマノイドにポリシーを移し、モーションキャプチャフリー環境で様々な位置の物体を運んだ。
• 参考スコア（独自算出の注目度）: 8.374882784555522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing approaches rely on video or motion-capture data for reinforcement learning (RL) training; however, all of these methods require an upper-level module to generate reference trajectories in real time. In object carrying tasks, the humanoid can only lift objects from designated locations along the reference trajectory, resulting in poor spatial generalization. Moreover, existing policies can only be evaluated inside a motion-capture studio. To address these limitations, we propose \textbf{MOVER}, a multi-stage, Teacher-Assistant-Student, RL training framework for humanoid object carrying. We first collect data from videos and employ GENMO and GMR to retarget the video data, combining this with data augmentation techniques to generalize the data across objects of varying shapes and sizes. In the \textbf{first stage}, building upon the DeepMimic \cite{peng2018deepmimic} motion-training framework, we train the humanoid to transport objects from specified locations along designated trajectories. In the \textbf{second stage}, we relax the tracking of the reference motion and adjust the reward so that the humanoid learns to transport objects from different positions. In the \textbf{third stage}, we apply a Dagger-PPO distillation method to distill away the proprioceptive position observations and reference joint position of the humanoid. This allows the deployed policy to operate without relying on global position information from a motion-capture system; instead, the humanoid can directly perceive the object's pose from its onboard RGB-D camera to complete the carrying task. We design a series of simulation experiments to compare the success rates across stages (Stages 1 vs. 2) and before versus after distillation. We further transfer the policy to a real humanoid, successfully transporting objects at varying positions in a motion-capture-free setting.
• Abstract（参考訳）: 既存のほとんどのアプローチは、強化学習(RL)訓練のためのビデオまたはモーションキャプチャーデータに依存しているが、これらの手法はすべて、参照軌跡をリアルタイムで生成するために上位レベルのモジュールを必要とする。 対象物を運ぶタスクでは、ヒューマノイドは基準軌道に沿って指定された場所からのみオブジェクトを持ち上げることができ、空間的な一般化は不十分である。 さらに、既存のポリシーはモーションキャプチャースタジオ内でのみ評価できる。 これらの制約に対処するために,多段階の人型物体搬送のためのRLトレーニングフレームワークである‘textbf{MOVER} を提案する。 まず、ビデオからデータを収集し、GENMOとGMRを使ってビデオデータを再ターゲティングし、これをデータ拡張技術と組み合わせて、様々な形状や大きさのオブジェクトにまたがってデータを一般化する。 DeepMimic \cite{peng2018deepmimic} モーショントレーニングフレームワーク上に構築された \textbf{first stage では、指定された軌道に沿った特定の場所からオブジェクトを輸送するように、ヒューマノイドを訓練する。 textbf{second stage}では、参照動作の追跡を緩和し、報酬を調整することにより、ヒューマノイドが異なる位置から物体を輸送することを学ぶ。 textbf{ third stage} では、Dagger-PPO蒸留法を用いて、ヒューマノイドの主観的位置観察と参照関節位置を抽出する。 これにより、配備されたポリシーはモーションキャプチャシステムからのグローバルな位置情報に頼ることなく動作可能となり、代わりに、ヒューマノイドは搭載されているRGB-Dカメラから直接オブジェクトのポーズを知覚して、搭載タスクを完了させることができる。 本研究は, 蒸留前後の工程における成功率(第1段階と第2段階)を比較した一連のシミュレーション実験を設計する。 我々はさらに、実際のヒューマノイドにポリシーを移し、モーションキャプチャフリー環境で様々な位置の物体を運んだ。

関連論文リスト

• VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes [71.14444761145435]
  知覚に基づくヒューマノイド・ロコ・マニピュレーションは、自我中心の観察とタスク・インストラクションを全身の動きに結びつける必要がある。 既存のデータソースがこれを完全に提供するものはありません。 このボトルネックに対処するために、再構成シーンで視覚・言語・運動学を総合的に指導する手法を提案する。
  論文  参考訳（メタデータ） (2026-06-29T17:59:55Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents [85.77432303199176]
  EmbodMocapは2つの動くiPhoneを使ったポータブルで安価なデータ収集パイプラインである。 私たちのキーとなるアイデアは、二重RGB-Dシーケンスを共同で校正し、人間とシーンの両方を再構築することです。 収集したデータに基づいて、我々は3つの具体的AIタスクを強化した: モノクラーヒューマン・シーン・リコンストラクション(モノクラーヒューマン・シーン・リコンストラクション)、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション。
  論文  参考訳（メタデータ） (2026-02-26T16:53:41Z)
• OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation [35.97702591413093]
  一つのRGB-Dビデオから操作計画を生成する方法であるOKAMIを紹介する。 OKAMIは、オープンワールドビジョンモデルを使用して、タスク関連オブジェクトを特定し、身体の動きと手ポーズを別々に再ターゲットする。
  論文  参考訳（メタデータ） (2024-10-15T17:17:54Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• Gravity-Aware Monocular 3D Human-Object Reconstruction [73.25185274561139]
  本稿では,共同マーカーレス3次元モーションキャプチャとモノクロRGB映像からの物体軌跡推定のための新しい手法を提案する。 自由飛行中に部分的に観察された物体を含むシーンに焦点を当てた。 実験では, 各種計測値を用いた3次元モーションキャプチャにおいて, 最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-08-19T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。