論文の概要: From a Single RGB Image to Robot Execution: Metric Scene Alignment and Contact-Guided Retargeting
- arxiv url: http://arxiv.org/abs/2611.14981v1
- Date: Wed, 11 Nov 2026 03:40:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.000629
- Title: From a Single RGB Image to Robot Execution: Metric Scene Alignment and Contact-Guided Retargeting
- Title(参考訳): シングルRGB画像からロボット実行へ:メトリックシーンアライメントとコンタクトガイドによるリターゲティング
- Abstract要約: 単一のRGB画像をヒューマノイドモーション参照に変換する統一パイプラインを提案する。
入力画像からシーン形状を再構成し、再構成されたシーンに条件付けられたヒューマンインタラクションを生成し、ヒューマノイドロボットの体現物に動きを再ターゲットする。
完全なパイプラインは、シミュレーションで89%、Unitree G1で50の物理トライアルで70%の成功率を達成した。
- 参考スコア(独自算出の注目度): 3.7603323995035716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extending humanoid interaction generation to new environments remains limited by the need for prebuilt 3D scene assets. Reconstructing scenes directly from single RGB images offers a way to overcome this limitation, but introduces a key challenge in maintaining geometric consistency throughout motion generation and transfer. Visually plausible human motions may be misaligned with the reconstructed scene, while retargeting can introduce additional support errors due to differences between human and robot embodiments. We present a unified pipeline that transforms a single RGB image into a humanoid motion reference. It reconstructs scene geometry from the input image, generates a human interaction conditioned on the reconstructed scene, and retargets the motion to a humanoid robot. To maintain geometric consistency throughout this process, we incorporate two complementary refinement stages before and after embodiment transfer. Before retargeting, Joint Metric Interaction Refinement (JMIR) refines human motion alignment with the registered metric scene while preserving the generated interaction structure. Following retargeting, Contact Guided Residual Retargeting (CGRR) corrects robot specific support errors to restore the intended support relationships. Together, these stages produce motion references that are consistent with the reconstructed scene and can be followed by multiple pretrained humanoid trackers without scene specific policy fine tuning. Compared with GRAIL, our method reduces refinement time from 480 s to 87 s, yielding a speedup of 5.5 times. The complete pipeline achieves a success rate of 89% in simulation and 70% across 50 physical trials on the Unitree G1, demonstrating its effectiveness in generating executable humanoid motion references from single RGB images.
- Abstract(参考訳): 新しい環境へのヒューマノイド相互作用の生成は、プレビルドされた3Dシーンアセットの必要性によって制限されている。
単一のRGB画像から直接シーンを再構築することは、この制限を克服する手段を提供するが、動きの生成と転送を通して幾何的一貫性を維持する上で重要な課題をもたらす。
視覚的に可視な人間の動きは、再構成されたシーンと不一致する可能性があるが、リターゲティングは、人間とロボットの体格の違いによる追加のサポートエラーをもたらす可能性がある。
単一のRGB画像をヒューマノイドモーション参照に変換する統一パイプラインを提案する。
入力画像からシーン形状を再構成し、再構成されたシーンに条件付されたヒューマンインタラクションを生成し、その動きをヒューマノイドロボットに再ターゲットする。
この過程を通して幾何的整合性を維持するために, 実施前後の2つの相補的な改良段階を取り入れた。
再ターゲティング前に、JMIR(Joint Metric Interaction Refinement)は、生成された相互作用構造を保持しながら、登録されたメトリックシーンと人間の動きの調整を洗練する。
再ターゲティングの後、CGRR(Contact Guided Residual Retargeting)は、ロボット固有のサポートエラーを修正して、意図したサポート関係を復元する。
これらのステージは、再構成されたシーンと一致した動作参照を生成し、シーン固有のポリシーを微調整することなく、事前訓練された複数のヒューマノイドトラッカーを追従することができる。
GRAILと比較して, 精製時間を480秒から87秒に短縮し, 5.5倍の高速化を実現した。
完全なパイプラインは、シミュレーションで89%、Unitree G1で50の物理トライアルで70%の成功率を実現し、単一のRGB画像から実行可能なヒューマノイドモーション参照を生成する効果を実証した。
関連論文リスト
- Fast Motion Retargeting Pipeline for Scalable Humanoid Robot Learning [8.017186118280366]
既存のキノダイナミック軌道最適化パイプラインは計算コストが高く、運動ごとに手動で調整する必要があることが多い。
本稿では,FRDV(Fast Retargeting with Dynamics Validation)について述べる。
そのキネマティックステージはシークエンシャル・クアドラティック・プログラミング、リアルタイム・イット、チャンクベースの処理を統合し、最大9,156フレーム/秒を実現し、GMRやProtoMotionの約136倍高速である。
論文 参考訳(メタデータ) (2026-10-20T16:22:00Z) - Geometry-Preserving Human-to-Robot Upper-Body Motion Retargeting from Monocular Video [10.818278704013943]
本報告では, 身体の統一的再構築と形態素に依存しない幾何的移動を統合化するための動き認識フレームワークを提案する。
両腕デキスタラスロボット上で,単眼映像から上半身運動への統一パイプラインを実証した。
論文 参考訳(メタデータ) (2026-09-29T15:14:20Z) - Traceable Human-to-Humanoid Sign Language Benchmarking [87.8147609048596]
ヒューマノイド署名は、ビデオから派生した人間の動きを、言語的な動きの手がかりを保持しながらロボットの軌跡に変換する必要がある。
我々は20,648の文レベルの中国語手話列のデータセットとベンチマークであるHuoidCSL-20Kを紹介する。
論文 参考訳(メタデータ) (2026-09-27T08:24:57Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳(メタデータ) (2026-06-03T17:57:45Z) - FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos [134.8812117202239]
本稿では,エゴセントリックなRGB-Dインタラクションビデオから直接室内シーンの3次元ディジタル双対を再構成するFunRecを提案する。
本研究では,URDF/USDエクスポートのシミュレーション,手指のアベイランスマッピング,ロボットとシーンのインタラクションへの応用を実演する。
論文 参考訳(メタデータ) (2026-04-07T09:22:12Z) - MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。
現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
論文 参考訳(メタデータ) (2026-02-17T17:09:45Z) - CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives [65.89192712575797]
本研究では,モノクロ映像から再現可能な人物の動きとシーン形状を復元するCRISPを紹介する。
我々の手法は、人中心のビデオベンチマークにおいて、モーショントラッキングの失敗率を55.2%から6.9%に下げる。
このことは、CRISPが物理的に有意な人間の動きと対話環境を大規模に生成する能力を示している。
論文 参考訳(メタデータ) (2025-12-16T18:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。