論文の概要: Hand2Robot: Object-Centric 4D Hand Reconstruction from Human Demonstrations for Robotics
- arxiv url: http://arxiv.org/abs/2610.15769v1
- Date: Sun, 11 Oct 2026 16:48:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 16:44:19.390614
- Title: Hand2Robot: Object-Centric 4D Hand Reconstruction from Human Demonstrations for Robotics
- Title（参考訳）: Hand2Robot:ロボットのための人間のデモからオブジェクト中心の4Dハンドレコンストラクション
- Abstract要約: 我々は,ロボット政策後トレーニングのためのオブジェクト中心の4Dハンド再構築フレームワークであるHand2Robotを紹介した。
Hand2Robotは、対象のタスクを実行する人間のビデオに基づいて、インタラクションクリップを抽出し、オブジェクトの形状を再構築し、ロボットアクションの監視を生成する。
DexYCBとHO3D-v3の実験では、オブジェクトポーズの精度が向上し、オブジェクト間相互作用の品質が向上した。
- 参考スコア（独自算出の注目度）: 31.399712133988814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human demonstrations can capture task-relevant manipulation without using the target robot, but the recorded hand motions cannot directly serve as robot action supervision. Hand reconstruction and motion retargeting provide a direct route to such supervision, yet recovering hand motion alone does not ensure physically consistent hand-object interactions. To address this issue, we introduce Hand2Robot, an object-centric 4D hand reconstruction framework for robot policy post-training. Given videos of humans performing the target task, Hand2Robot extracts interaction clips, reconstructs object geometry, and generates robot action supervision through hand-object interaction optimization and motion retargeting. For object tracking, we combine observation confidence with temporal motion constraints to select a globally consistent object pose trajectory from per-frame pose candidates. For hand refinement, we use object geometry and motion as a reference and combine staged 2D alignment with object-local contact constraints to refine hand trajectories and finger joint configurations. Experiments on DexYCB and HO3D-v3 show improved object pose accuracy and hand-object interaction quality. Experiments on three real-robot dexterous manipulation tasks further show that reconstructed and retargeted human demonstrations can effectively supplement limited robot data for target-task policy post-training.
- Abstract（参考訳）: 人間のデモンストレーションは、対象のロボットを使わずにタスク関連操作をキャプチャすることができるが、記録された手の動きはロボットのアクション監視として直接機能することができない。
手の再建と動きの再ターゲティングはそのような監督への直接的な経路を提供するが、手の動きの回復だけでは物理的に一貫した手-物体の相互作用が保証されない。
この問題に対処するために、ロボットポリシー後トレーニングのためのオブジェクト中心の4Dハンド再構築フレームワークであるHand2Robotを紹介した。
Hand2Robotは、対象とするタスクを実行する人間のビデオに基づいて、インタラクションクリップを抽出し、オブジェクトの形状を再構成し、手動のインタラクション最適化とモーションリターゲティングを通じてロボットアクションの監視を生成する。
オブジェクト追跡において、観察信頼度と時間的動きの制約を組み合わせ、フレームごとのポーズ候補から一貫したオブジェクトポーズ軌道を選択する。
手指の形状や動きを基準として2次元アライメントと物体局所接触制約を組み合わせ,手指の軌跡や指関節の形状を洗練させる。
DexYCBとHO3D-v3の実験では、オブジェクトポーズの精度が向上し、オブジェクト間相互作用の品質が向上した。
3つの実ロボットのデキスタラスな操作に関する実験により、再構成された人間によるデモンストレーションは、ターゲットタスク後のポリシーのために、制限されたロボットデータを効果的に補うことができることが示された。
関連論文リスト
- Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。
これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。
その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
論文 参考訳（メタデータ） (2026-10-05T11:08:50Z) - OTRetarget: Joint Robot and Object Motion Retargeting via Optimal Transport [10.3061638587194]
人間の動きをヒューマノイドロボットに移すには、ロボットの形態にその動作を適応させる必要がある。
OTR ETARGETは、人間によるデモンストレーションから、ロボットと多目的運動を協調的に再ターゲットする統一的なアプローチである。
提案手法は,OmniRetargetの28%と29.3mmに対して,ロボットとオブジェクトの相互作用が87%,深さが8.7mmであるOMOMOに対して,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2026-09-29T03:18:14Z) - Touch2Robot: Robot Touch in the Human Demonstration Loop [4.894188027885703]
Touch2Robotは、人間が対象のロボットがオブジェクトにどのように接触するかを確認しながら、デモを収集できるフレームワークだ。
我々は人間の手の動き、触覚手袋の測定、人間の操作時の物体の動きを捉える。
学習した動作を、人間の観測や物体形状をロボットの手の配置にマッピングする、統合されたリアルタイム再ターゲッターに蒸留する。
論文 参考訳（メタデータ） (2026-09-21T14:26:51Z) - AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。
アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。
本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
論文 参考訳（メタデータ） (2026-09-16T14:07:06Z) - ObjRetarget: An Object-Aware Motion Retargeting Framework with Anthropomorphic Arm Constraints and Polyhedral Hand Modeling [9.378632224914458]
人間の操作ビデオからの巧妙な操作は、ロボットアクションの実行に確実に人間の意図を必要とする。
既存の手法はしばしば明示的な接触モデリングや強化を無視し、精度と一般化が制限される。
本研究では,人間のビデオからロボットの器用な操作を学習するためのロボットモーションフレームワークRetargetを提案する。
論文 参考訳（メタデータ） (2026-07-04T11:31:23Z) - GenHOI: Contact-Aware Humanoid-Object Interaction by Imitating Generated Videos without Task-Specific Training [20.414478780328437]
既存の方法は、しばしば時間を要するタスク固有のポリシートレーニングを必要とするか、厳格な軌跡の再生に依存している。
我々は,人型ロボットがゼロショット方式で多様なオブジェクトインタラクションタスクを実行できるフレームワークであるtextitGenHOIを提案する。
提案手法を多種多様なオブジェクト・インタラクション・タスクにまたがる広範囲なシミュレーションおよび実世界の実験で検証する。
論文 参考訳（メタデータ） (2026-06-11T07:31:05Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。
まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
論文 参考訳（メタデータ） (2021-08-16T12:26:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。