論文の概要: World Models Can Leverage Human Videos for Dexterous Manipulation

• arxiv url: http://arxiv.org/abs/2512.13644v1
• Date: Mon, 15 Dec 2025 18:37:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.809875
• Title: World Models Can Leverage Human Videos for Dexterous Manipulation
• Title（参考訳）: 世界モデルは人間のビデオを活用してデクサラスな操作が可能に
• Authors: Raktim Gautam Goswami, Amir Bar, David Fan, Tsung-Yen Yang, Gaoyue Zhou, Prashanth Krishnamurthy, Michael Rabbat, Farshad Khorrami, Yann LeCun,
• Abstract要約: 物体との接触によって、手の動きが環境にどのように影響するかを理解する必要があるため、有害な操作は難しい。 DexWM(Dexterous Manipulation World Model)は、過去の状態とデキスタラスな動作で条件付けられた環境の次の潜伏状態を予測する。
• 参考スコア（独自算出の注目度）: 47.96619912157598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dexterous manipulation is challenging because it requires understanding how subtle hand motion influences the environment through contact with objects. We introduce DexWM, a Dexterous Manipulation World Model that predicts the next latent state of the environment conditioned on past states and dexterous actions. To overcome the scarcity of dexterous manipulation datasets, DexWM is trained on over 900 hours of human and non-dexterous robot videos. To enable fine-grained dexterity, we find that predicting visual features alone is insufficient; therefore, we introduce an auxiliary hand consistency loss that enforces accurate hand configurations. DexWM outperforms prior world models conditioned on text, navigation, and full-body actions, achieving more accurate predictions of future states. DexWM also demonstrates strong zero-shot generalization to unseen manipulation skills when deployed on a Franka Panda arm equipped with an Allegro gripper, outperforming Diffusion Policy by over 50% on average in grasping, placing, and reaching tasks.
• Abstract（参考訳）: 物体との接触によって、手の動きが環境にどのように影響するかを理解する必要があるため、有害な操作は難しい。 DexWM(Dexterous Manipulation World Model)は、過去の状態とデキスタラスな動作で条件付けられた環境の次の潜伏状態を予測する。 デキスタラスな操作データセットの不足を克服するため、DexWMは900時間以上の人や非人為的なロボットビデオで訓練されている。 きめ細かなディクスタリティを実現するため,視覚的特徴のみの予測は不十分であることが判明した。 DexWMは、テキスト、ナビゲーション、フルボディアクションで条件付けられた以前の世界モデルより優れており、将来の状態をより正確に予測できる。 DexWMはまた、アレグロ・グリッパーを装備したフランカ・パンダのアームに展開する際の操作スキルをゼロショットの強い一般化を示し、ディフュージョン・ポリシーを把握、配置、到達において平均50%以上上回っている。

関連論文リスト

• DexCanvas: Bridging Human Demonstrations and Robot Learning for Dexterous Manipulation [25.208854363099352]
  このデータセットには、実際の人間の実演から70時間シードされた7000時間に及ぶ手-物体の相互作用が含まれている。 各エントリは、同期されたマルチビューRGB-D、MANOハンドパラメータによる高精度モキャップ、物理的に一貫した力プロファイルによるフレーム単位の接触点を組み合わせる。 私たちのリアル・トゥ・シムパイプラインは、物理シミュレーションにおいてアクティベートされたMANOハンドを制御するポリシーをトレーニングするために強化学習を使用します。
  論文  参考訳（メタデータ） (2025-10-17T16:08:14Z)
• DexMan: Learning Bimanual Dexterous Manipulation from Human and Generated Videos [6.593922481742042]
  DexManは、人間の視覚的なデモンストレーションをシミュレーションで人型ロボットの両面的な操作スキルに変換する自動フレームワークである。 DexManでは、カメラのキャリブレーション、深度センサー、スキャンされた3Dオブジェクトアセット、グラウンドトルースハンド、オブジェクトモーションアノテーションの必要性をなくしている。
  論文  参考訳（メタデータ） (2025-10-09T17:17:05Z)
• Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos [66.62109400603394]
  本稿では,大規模な人体ビデオで訓練された視覚・言語・行動モデルであるBeing-H0を紹介する。 提案手法は,人間のビデオからの大規模VLA事前学習,3次元推論のための物理空間アライメント,ロボット作業のためのポストトレーニング適応を組み合わせた,新しいトレーニングパラダイムである物理インストラクションチューニングに重点を置いている。 本研究では,手の動き生成と指示の結果としてのBeat-H0の卓越性を実証的に示すとともに,モデルやデータサイズにもよく対応している。
  論文  参考訳（メタデータ） (2025-07-21T13:19:09Z)
• DexterityGen: Foundation Controller for Unprecedented Dexterity [67.15251368211361]
  ツール使用など,ロボットの巧妙な操作スキルを教えることは,大きな課題となる。 現在のアプローチは、人間の遠隔操作(模倣学習)とシミュレート・トゥ・リアル強化学習(sim-to-real reinforcement learning)の2つの戦略に大別できる。 本稿では,手動回転や翻訳などの大規模動きプリミティブをRLで事前学習するDexterityGenを紹介する。 現実の世界では、人間の遠隔操作をコントローラーのプロンプトとして利用し、厳密な振る舞いを生み出す。
  論文  参考訳（メタデータ） (2025-02-06T18:49:35Z)
• DexHandDiff: Interaction-aware Diffusion Planning for Adaptive Dexterous Manipulation [78.60543357822957]
  高度なロボティクスにとって、接触に富んだ相互作用による有害な操作が不可欠である。 DexHandDiffは,適応的デキスタラス操作のための対話型拡散計画フレームワークである。 当社のフレームワークは, 目標適応度の高いタスクにおいて, 平均70.7%の成功率を実現し, コンタクトリッチな操作における堅牢性と柔軟性を強調した。
  論文  参考訳（メタデータ） (2024-11-27T18:03:26Z)
• RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.33746404551343]
  本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。 RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-21T14:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。