論文の概要: Dex-X: Learning Visual-Tactile Dexterous Manipulation From Human Videos with Simulated Interaction

• arxiv url: http://arxiv.org/abs/2609.07747v2
• Date: Wed, 09 Sep 2026 06:54:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.485655
• Title: Dex-X: Learning Visual-Tactile Dexterous Manipulation From Human Videos with Simulated Interaction
• Title（参考訳）: Dex-X: シミュレーションインタラクションによる人間のビデオからの視覚触覚デキステラスマニピュレーションの学習
• Abstract要約: シミュレーションにより人間の映像から視覚触覚のデキスタラスな操作を学習するためのフレームワークであるDEX-Xを提案する。 そこで,本研究では,触覚の制御を行う物理接地力学を用いて,手動物体の相互作用を再現する。 多様な把握と接触に富んだツール使用タスクにまたがるデクスタラスハンドアームプラットフォーム上でのゼロショットsim-to-real転送を実証する。
• 参考スコア（独自算出の注目度）: 30.46515328565822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human videos are an abundant source of dexterous manipulation behaviors, but they lack tactile information that is crucial for contact-rich interaction. This raises a fundamental question: can robots learn deployable visual-tactile dexterous manipulation policies from human video demonstrations without robot-side data collection? We present DEX-X, a framework for learning visual-tactile dexterous manipulation from human videos through simulation. Our key insight is that simulation can serve as a tactile completion engine. Given monocular human demonstrations, DEX-X reconstructs hand-object interactions in simulation, where physically grounded contact dynamics provide tactile supervision unavailable in the original videos. Leveraging this recovered tactile information, we train visual-tactile dexterous manipulation policies and distill them into deployable policies operating on point-cloud observations and tactile sensing. We demonstrate zero-shot sim-to-real transfer on a dexterous hand-arm platform across diverse grasping and contact-rich tool-use tasks. The teacher policy achieves 65.9% average success across six task categories in simulation, while the distilled visual-tactile policy achieves 93% success on real-world cube picking and 53% on the challenging table-cleaning task. Zero-shot generalization to unseen object geometries is also observed on object-picking tasks. Our results suggest that simulated interaction is a key bridge between human videos and deployable dexterous manipulation policies, providing the missing physical supervision needed for scalable robot skill learning from Internet-scale human video data.
• Abstract（参考訳）: 人間のビデオは、巧妙な操作行動の豊富な源であるが、接触に富む相互作用に不可欠な触覚情報がない。 ロボットは、ロボット側のデータ収集なしで人間のビデオデモから、デプロイ可能な視覚触覚の巧妙な操作ポリシーを学習できるのだろうか? シミュレーションにより人間の映像から視覚触覚のデキスタラスな操作を学習するためのフレームワークであるDEX-Xを提案する。 私たちの重要な洞察は、シミュレーションが触覚補完エンジンとして機能することです。 DEX-Xは、単眼の人間のデモンストレーションを前提として、物理的に接地された接触ダイナミクスがオリジナルのビデオでは利用できない触覚の監視を提供するシミュレーションにおいて、手動の相互作用を再構築する。 この回復した触覚情報を活用して、視覚触覚のデキスタラスな操作ポリシーを訓練し、点-雲観測と触覚センサーで動作するデプロイ可能なポリシーに抽出する。 多様な把握と接触に富んだツール使用タスクにまたがるデクスタラスハンドアームプラットフォーム上でのゼロショットsim-to-real転送を実証する。 教師政策は6つのタスクカテゴリーで平均65.9%の成功を達成し、蒸留された視覚触覚政策は現実世界のキューブの取り出しで93%、テーブルクリーニングで53%の成功を達成している。 目に見えない物体のジオメトリーへのゼロショットの一般化は、オブジェクトピッキングのタスクでも観察される。 以上の結果から,シミュレーションインタラクションは人間のビデオとデプロイ可能なデクサラスな操作ポリシのキーブリッジであり,インターネット規模のヒューマンビデオデータから,スケーラブルなロボットスキル学習に必要な物理的監督が欠如していることが示唆された。

関連論文リスト

• UniDex-ViTac: Learning Unified Visuo-Tactile Dexterous Manipulation Policy from Human Video Data [0.45880283710344055]
  We present UniDex-ViTac, a framework that using human-video-guided Simulation to generate robot demonstrations with fingertip contact observed。 我々は1万の擬似軌道を収集し、1つのAction Chunking with Transformers (ACT)ベースのジェネラリストを訓練する。 接触拡大された構成は、ポイントクラウドのみのベースラインで55.5%に対して、シミュレーションで68.3%のマクロ平均成功を実現している。
  論文  参考訳（メタデータ） (2026-09-15T01:52:33Z)
• AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning [25.241504281004243]
  本稿では,人間とロボットのデモから,器用な操作を学ぶためのフレームワークであるAdvDexを紹介する。 まず、人間の操作デモの大規模マルチモーダルデータセットであるOmniShareを紹介する。 第2に,手首ポーズが$mathrmSE(3)$および15指関節からなる標準動作表現であるJAAS(Joint-Aligned Action Space)を提案する。 第3に,学習した視覚表現における具体的情報を減らすために,ドメイン・アドバイサル・ラーニングを用いる。
  論文  参考訳（メタデータ） (2026-08-14T07:19:06Z)
• Imitating What Works: Simulation-Filtered Modular Policy Learning from Human Videos [56.510263910611684]
  本研究では,様々な動作を行う前に物体をつかむタスクを包括的操作に対処する。 人間のビデオは、移植後の動作を学ぶための強力な信号を提供するが、必要な把握行動を学ぶのにはあまり役に立たない。 本稿では、人間の動画モーションデータを用いたモジュラー操作ポリシーをトレーニングするためのフレームワークであるPerceive-Simulate-Imitate(PSI)を提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:59:10Z)
• DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos [56.64773686434068]
  DexImitは、人間の操作映像を物理的に妥当なロボットデータに変換する自動フレームワークである。 DexImitは、インターネットまたはビデオ生成モデルから、人間のビデオに基づいて大規模なロボットデータを生成することができる。 ツールの使用、長距離タスク、きめ細かい操作を含む多様な操作タスクを処理できる。
  論文  参考訳（メタデータ） (2026-02-10T18:59:02Z)
• DexCanvas: Bridging Human Demonstrations and Robot Learning for Dexterous Manipulation [25.208854363099352]
  このデータセットには、実際の人間の実演から70時間シードされた7000時間に及ぶ手-物体の相互作用が含まれている。 各エントリは、同期されたマルチビューRGB-D、MANOハンドパラメータによる高精度モキャップ、物理的に一貫した力プロファイルによるフレーム単位の接触点を組み合わせる。 私たちのリアル・トゥ・シムパイプラインは、物理シミュレーションにおいてアクティベートされたMANOハンドを制御するポリシーをトレーニングするために強化学習を使用します。
  論文  参考訳（メタデータ） (2025-10-17T16:08:14Z)
• DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [11.450027373581019]
  視覚に頼らずに触覚で物体を操作できる多指ロボットシステムを提案する。 日常の生活を模倣するタスクのために、ロボットは触覚を使ってランダムに配置された物体を暗く操作する。
  論文  参考訳（メタデータ） (2024-01-23T05:37:32Z)
• Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [15.970078821894758]
  視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。 ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
  論文  参考訳（メタデータ） (2023-12-04T12:35:43Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• A Differentiable Recipe for Learning Visual Non-Prehensile Planar Manipulation [63.1610540170754]
  視覚的非包括的平面操作の問題に焦点をあてる。 本稿では,ビデオデコードニューラルモデルと接触力学の先行情報を組み合わせた新しいアーキテクチャを提案する。 モジュラーで完全に差別化可能なアーキテクチャは、目に見えないオブジェクトやモーションの学習専用手法よりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2021-11-09T18:39:45Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。