論文の概要: DexMan: Learning Bimanual Dexterous Manipulation from Human and Generated Videos

• arxiv url: http://arxiv.org/abs/2510.08475v1
• Date: Thu, 09 Oct 2025 17:17:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.237605
• Title: DexMan: Learning Bimanual Dexterous Manipulation from Human and Generated Videos
• Title（参考訳）: DexMan:人間と生成されたビデオからバイマラルなデキスタス・マニピュレーションを学ぶ
• Authors: Jhen Hsieh, Kuan-Hsun Tu, Kuo-Han Hung, Tsung-Wei Ke,
• Abstract要約: DexManは、人間の視覚的なデモンストレーションをシミュレーションで人型ロボットの両面的な操作スキルに変換する自動フレームワークである。 DexManでは、カメラのキャリブレーション、深度センサー、スキャンされた3Dオブジェクトアセット、グラウンドトルースハンド、オブジェクトモーションアノテーションの必要性をなくしている。
• 参考スコア（独自算出の注目度）: 6.593922481742042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present DexMan, an automated framework that converts human visual demonstrations into bimanual dexterous manipulation skills for humanoid robots in simulation. Operating directly on third-person videos of humans manipulating rigid objects, DexMan eliminates the need for camera calibration, depth sensors, scanned 3D object assets, or ground-truth hand and object motion annotations. Unlike prior approaches that consider only simplified floating hands, it directly controls a humanoid robot and leverages novel contact-based rewards to improve policy learning from noisy hand-object poses estimated from in-the-wild videos. DexMan achieves state-of-the-art performance in object pose estimation on the TACO benchmark, with absolute gains of 0.08 and 0.12 in ADD-S and VSD. Meanwhile, its reinforcement learning policy surpasses previous methods by 19% in success rate on OakInk-v2. Furthermore, DexMan can generate skills from both real and synthetic videos, without the need for manual data collection and costly motion capture, and enabling the creation of large-scale, diverse datasets for training generalist dexterous manipulation.
• Abstract（参考訳）: DexManは、人間の視覚的なデモンストレーションをシミュレーションで人型ロボットの両面的な操作スキルに変換する自動フレームワークである。 厳密な物体を操作する人間の3人称ビデオを直接操作することで、DexManはカメラのキャリブレーション、深度センサー、スキャンされた3Dオブジェクト資産、地道な手と物体の動きアノテーションの必要性を排除している。 シンプルな浮動小数点手のみを考慮した従来のアプローチとは異なり、人型ロボットを直接コントロールし、新しいコンタクトベースの報酬を活用して、近距離ビデオから推定されるノイズの多い手動ポーズからポリシー学習を改善する。 DexMan は ADD-S と VSD で 0.08 と 0.12 の絶対ゲインを持つ TACO ベンチマークでオブジェクトポーズ推定における最先端のパフォーマンスを達成している。 一方、強化学習政策はOakInk-v2の成功率を19%上回っている。 さらに、DexManは、手動のデータ収集やコストのかかるモーションキャプチャを必要とせずに、リアルビデオと合成ビデオの両方からスキルを生成することができ、汎用的な操作をトレーニングするための大規模で多様なデータセットを作成することができる。

関連論文リスト

• Object-centric 3D Motion Field for Robot Learning from Human Videos [56.9436352861611]
  本稿では,人間ビデオからのロボット学習の動作を表現するために,物体中心の3次元運動場を提案する。 ゼロショット制御のためのビデオからこの表現を抽出するための新しいフレームワークを提案する。 実験の結果,提案手法は最新の手法に比べて3次元動作推定誤差を50%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2025-06-04T17:59:06Z)
• Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration [21.94699075066712]
  本稿では,タスクを実演する人間の1つのRGB-Dビデオのみを用いて,創発的な操作ポリシーを訓練する,新しいリアルタイム・シミュレート・トゥ・リアルフレームワークを提案する。 Human2Sim2Robotは、オブジェクト認識のリプレイを55%以上上回り、模倣学習を68%以上上回っている。
  論文  参考訳（メタデータ） (2025-04-17T03:15:20Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから大量の実世界のビデオをコンパイルします。 合成データとして,10K3Dアバターを収集し,体形,肌のテクスチャ,衣服などの既存の資産を利用した。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation [28.37054959647664]
  人間の手の動きデータからの模倣学習は、現実世界の操作タスクにおいて、人間のような器用さでロボットを倒すための有望な道を示す。 携帯型ハンドモーションキャプチャシステムであるDexCapとDexILを紹介する。
  論文  参考訳（メタデータ） (2024-03-12T16:23:49Z)
• DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video [86.49357517864937]
  DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。 我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。 DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
  論文  参考訳（メタデータ） (2022-02-01T00:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。