論文の概要: Geometry-Preserving Human-to-Robot Upper-Body Motion Retargeting from Monocular Video
- arxiv url: http://arxiv.org/abs/2609.37776v1
- Date: Tue, 29 Sep 2026 15:14:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.667794
- Title: Geometry-Preserving Human-to-Robot Upper-Body Motion Retargeting from Monocular Video
- Title（参考訳）: モノクロ映像からの人間とロボットの上体動作の幾何保存
- Abstract要約: 本報告では, 身体の統一的再構築と形態素に依存しない幾何的移動を統合化するための動き認識フレームワークを提案する。
両腕デキスタラスロボット上で,単眼映像から上半身運動への統一パイプラインを実証した。
- 参考スコア（独自算出の注目度）: 10.818278704013943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular RGB video provides an accessible source of human demonstrations for upper-body robot motion, yet video-driven human-to-robot transfer remains challenging because body and hand motion are recovered at different spatial scales, human and robot kinematics differ substantially, and fine distal motion is difficult to preserve across embodiments. We present a geometry-preserving motion-retargeting framework that integrates unified body--hand reconstruction with morphology-independent geometric transfer. Frame-wise body estimates, video-level observations, and detailed hand evidence jointly constrain a single differentiable Momentum Human Rig (MHR) state, while transient hand artifacts are repaired in parameter space. The reconstructed motion is represented by arm-segment directions, elbow configuration, relative palm orientation, and bilateral wrist relations, and is realized on the target robot through multi-stage inverse kinematics and robot-specific hand adaptation. Within the broader system, Across-VAM provides video generation, whereas Across-WAM performs human-to-robot motion mapping. The method is evaluated on 16 monocular videos comprising 1,769 source frames, including 10 signing and six reach-to-grasp sequences. Unified reconstruction reduces mean hand reprojection error from 22.36 to 7.21 pixels relative to SAM 3D Body. All 16 retargeted trajectories completed kinematic simulation playback, and representative signing and reach-to-grasp motions were further demonstrated on a physical robot. The results demonstrate a unified pipeline from monocular human video to coordinated upper-body motion on a dual-arm dexterous robot.
- Abstract（参考訳）: 単眼のRGBビデオは上半身のロボットの動きに対する人間のデモのソースを提供するが、身体と手の動きが異なる空間スケールで復元され、人間とロボットの運動が著しく異なるため、ビデオ駆動の人間とロボットの移動は困難なままである。
本稿では, 形状に依存しない幾何移動と統合された身体再構成を統合した幾何保存型モーションレターゲティングフレームワークを提案する。
フレームワイドのボディ推定、ビデオレベルの観察、詳細なハンドエビデンス(英語版)は、1つの異なるモーメント・ヒューマン・リグ(MHR)状態に共同で制約する一方、過渡的なハンドアーティファクトはパラメータ空間で修復される。
再建された動きは、アーム・セグメンテーション方向、肘構成、相対手のひら方向、両手首関係で表現され、多段階の逆運動学とロボット固有の手指適応により、対象ロボット上で実現される。
より広いシステムでは、Across-VAMはビデオ生成を提供するが、Across-WAMは人間とロボットのモーションマッピングを実行する。
本手法は,1,769個のソースフレームからなる16個のモノクロビデオに対して,10個の署名と6個のリーチ・トゥ・グレープシーケンスを含む評価を行った。
統一された再構成により、平均手の再投射誤差はSAM 3Dボディと比較して22.36ピクセルから7.21ピクセルに減少する。
16個のリターゲット軌道がキネマティック・シミュレーションの再生を完了し、物理ロボットで手動・手動動作がさらに実証された。
その結果,デュアルアームデキスタラスロボット上での単眼映像から上半身運動への統一パイプラインが実証された。
関連論文リスト
- OTRetarget: Joint Robot and Object Motion Retargeting via Optimal Transport [10.3061638587194]
人間の動きをヒューマノイドロボットに移すには、ロボットの形態にその動作を適応させる必要がある。
OTR ETARGETは、人間によるデモンストレーションから、ロボットと多目的運動を協調的に再ターゲットする統一的なアプローチである。
提案手法は,OmniRetargetの28%と29.3mmに対して,ロボットとオブジェクトの相互作用が87%,深さが8.7mmであるOMOMOに対して,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2026-09-29T03:18:14Z) - Traceable Human-to-Humanoid Sign Language Benchmarking [87.8147609048596]
ヒューマノイド署名は、ビデオから派生した人間の動きを、言語的な動きの手がかりを保持しながらロボットの軌跡に変換する必要がある。
我々は20,648の文レベルの中国語手話列のデータセットとベンチマークであるHuoidCSL-20Kを紹介する。
論文 参考訳（メタデータ） (2026-09-27T08:24:57Z) - BeyondRetarget: Learning Executable Humanoid Motions Directly from Monocular Video [34.97982846901588]
本研究では,モノクラーRGBビデオをロボットの動きにマッピングする,エンドツーエンドのフレームワークであるBeyondRetargetを提案する。
このフレームワークは、明示的な人間の表現を識別し、視覚的な観察からロボット指向の暗黙の表現を直接学習する。
実験の結果,BeyondRetargetは生成したロボットの動きの精度と堅牢性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2026-09-24T14:15:04Z) - Morphology-Aware Human Motion Retargeting for Wheeled-Humanoid Loco-Manipulation [3.1041072702135213]
本稿では,マルチデータセット動作をガラクサR1車輪型ヒューマノイドのロコ操作動作に変換するパイプラインを提案する。
ロボットは平面式3輪ベースとシリアル胴体と2本の腕を持つが、脚の関節は持たない。
基準ツイスト駆動の計画層は、平面ベースの動きを連続した3輪ステアリングとローリングコマンドにデコードする。
論文 参考訳（メタデータ） (2026-09-10T10:40:31Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳（メタデータ） (2026-06-03T17:57:45Z) - Human2Humanoid: Physics-Aware Cross-Morphology Motion Retargeting for Humanoid Robots [9.096721498763717]
人間の動きをヒューマノイドロボットに再ターゲティングすることは、遠隔操作、模倣学習、人間とロボットの相互作用にとって重要である。
本稿では,人間の動作を高忠実度なヒューマノイドロボットに伝達する,教師なし動作フレームワークであるHuman2Humanを提案する。
実験の結果, 提案手法は, ペアデータを持たないユニトリーG1ヒューマノイドロボットに対して, 人間の動きを的確に再現することに成功した。
論文 参考訳（メタデータ） (2026-06-02T10:53:06Z) - PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation [75.96085587438279]
既存のビデオ報酬は主に2D知覚信号に依存しており、3Dの身体状態、接触状態、人間の関節の動きに基づくダイナミクスを明示的にモデル化する必要はない。
物理シミュレータにおける3次元人体軌道の復元を基礎とした構造的,きめ細かな運動報酬であるPhyMotionを提案し,運動の質を多次元の物理的実現性に沿って評価する。
実験により、PhyMotionは既存の報酬の定式化よりも人間の判断と強い相関性が得られることが示された。
論文 参考訳（メタデータ） (2026-05-14T02:12:13Z) - MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。
現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
論文 参考訳（メタデータ） (2026-02-17T17:09:45Z) - World-Coordinate Human Motion Retargeting via SAM 3D Body [0.3735787582927221]
本稿では,SAM 3D Bodyを凍結した知覚バックボーンとして活用するフレームワークを提案する。
再建された動きを、キネマティクスを意識した2段逆キネマティクスパイプラインを用いて、ユニツリーG1ヒューマノイドに再ターゲティングする。
その結果,本手法は安定な世界軌道と信頼性のあるロボット表現を有することが明らかとなった。
論文 参考訳（メタデータ） (2025-12-25T08:30:04Z) - EchoMotion: Unified Human Video and Motion Generation via Dual-Modality Diffusion Transformer [64.69014756863331]
本研究では,外見と人間の動作の同時分布をモデル化するフレームワークであるEchoMotionを紹介する。
また,ビデオトークンとモーショントークンの両方に3次元位置符号化を統一したMVS-RoPEを提案する。
以上の結果から,人間の動きを明示的に表現することは出現することであり,人間中心のビデオ生成のコヒーレンスと妥当性を著しく向上させることが判明した。
論文 参考訳（メタデータ） (2025-12-21T17:08:14Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。