論文の概要: HandMimicX: Learning Human-Like Dexterous Manipulation via an Object-Centric Policy from Egocentric Videos
- arxiv url: http://arxiv.org/abs/2610.41336v1
- Date: Fri, 30 Oct 2026 06:51:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.635759
- Title: HandMimicX: Learning Human-Like Dexterous Manipulation via an Object-Centric Policy from Egocentric Videos
- Title(参考訳): HandMimicX:エゴセントリックビデオからのオブジェクト中心ポリシーによる人型デキステラスマニピュレーションの学習
- Abstract要約: 我々は,エゴセントリックなRGB-Dビデオから器用なスキルを取得するための,オブジェクト中心のフレームワークを提案する。
提案手法は,人間の映像から効率よく学習し,新しい空間構成を横断する汎用的なスキル伝達を可能にする。
- 参考スコア(独自算出の注目度): 29.91333714960051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning dexterous manipulation from human videos remains an open challenge, particularly in the context of transferring a single demonstration into a spatially generalizable robotic skill and maintaining physically plausible human-like interactions. Unlike prior works that emphasize hand-motion imitation, we introduce an object-centric framework for acquiring dexterous skills from egocentric human RGB-D videos. Within our framework, we formulate the reinforcement learning (RL) objective in terms of object motion to decouple the underlying skill from the specific hand trajectory and impose constraints on hand-object interaction states to promote more anatomically natural hand configurations. Extensive experiments in simulation and on real robots demonstrate that our method enables efficient learning from human videos and generalizable skill transfer across novel spatial configurations.
- Abstract(参考訳): 人間のビデオから巧妙な操作を学ぶことは、特に1つのデモを空間的に一般化可能なロボットスキルに転送し、物理的にもっともらしい人間のような相互作用を維持するという文脈において、依然としてオープンな課題である。
手動の模倣を強調する以前の作品とは異なり、自我中心のヒトRGB-Dビデオから器用なスキルを取得するためのオブジェクト中心のフレームワークを導入する。
本枠組みでは, 物体運動の観点から強化学習(RL)の目的を定式化し, その基礎となるスキルを特定の手軌跡から切り離し, より解剖学的に自然な手構成を促進するために手物体の相互作用状態に制約を課す。
シミュレーションおよび実ロボットにおける広範囲な実験により,本手法は人間の映像から効率よく学習し,新しい空間構成を横断する汎用的な技術伝達を可能にすることを示した。
関連論文リスト
- DexCast: Learning Real-World Dexterous Control from Human Videos [23.755261304053267]
DEXCASTは、単眼のRGB-Dビデオから直接、器用なロボットハンドコントロールを学習するフレームワークである。
また,DexHand Motion Perception Moduleを提案する。
論文 参考訳(メタデータ) (2026-10-10T08:08:41Z) - GIRAF: Towards Generalizable Human Interactions with Articulated Objects [50.52795413484619]
そこで本論文では,テキスト条件付き拡散モデルについて述べる。
提案手法は、現在最先端の手法を超越して、未確認のオブジェクト構成に強い一般化を示した。
論文 参考訳(メタデータ) (2026-07-08T19:30:44Z) - LOME: Learning Human-Object Manipulation with Action-Conditioned Egocentric World Model [14.98308724969322]
LOMEは、入力画像、テキストプロンプト、フレームごとのヒューマンアクションに条件付けされたビデオとして、現実的な人間とオブジェクトのインタラクションを生成することができる。
LOMEは、空間的人間の行動を共同で推定することで、オブジェクト操作に強力で正確なアクションガイダンスを注入する。
LOMEは、シミュレーション環境に制限されずに、AR/VR体験とスケーラブルなロボットトレーニングの道を開く。
論文 参考訳(メタデータ) (2026-03-28T23:58:29Z) - Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration [21.94699075066712]
本稿では,タスクを実演する人間の1つのRGB-Dビデオのみを用いて,創発的な操作ポリシーを訓練する,新しいリアルタイム・シミュレート・トゥ・リアルフレームワークを提案する。
Human2Sim2Robotは、オブジェクト認識のリプレイを55%以上上回り、模倣学習を68%以上上回っている。
論文 参考訳(メタデータ) (2025-04-17T03:15:20Z) - Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids [56.892520712892804]
本稿では,ヒューマノイドロボットを訓練して3つの巧妙な操作を行う,実用的なシミュレート・トゥ・リアルなRLレシピを提案する。
未確認のオブジェクトやロバストで適応的な政策行動に対して高い成功率を示す。
論文 参考訳(メタデータ) (2025-02-27T18:59:52Z) - Learning Human-to-Robot Handovers from Point Clouds [63.18127198174958]
視覚に基づく人間ロボットハンドオーバの制御ポリシーを学習する最初のフレームワークを提案する。
シミュレーションベンチマーク,sim-to-sim転送,sim-to-real転送において,ベースラインよりも大きな性能向上を示した。
論文 参考訳(メタデータ) (2023-03-30T17:58:36Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳(メタデータ) (2022-12-19T22:50:40Z) - DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from
Video [86.49357517864937]
DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。
我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。
DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
論文 参考訳(メタデータ) (2022-02-01T00:45:57Z) - Generalization Through Hand-Eye Coordination: An Action Space for
Learning Spatially-Invariant Visuomotor Control [67.23580984118479]
模倣学習(il)は、オフラインデモデータから視覚能力を学ぶための効果的なフレームワークである。
手目行動ネットワーク(HAN)は、人間の遠隔操作による実証から学習することにより、人間の手目協調行動を推定することができる。
論文 参考訳(メタデータ) (2021-02-28T01:49:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。