論文の概要: DexViTac: Collecting Human Visuo-Tactile-Kinematic Demonstrations for Contact-Rich Dexterous Manipulation

• arxiv url: http://arxiv.org/abs/2603.17851v1
• Date: Wed, 18 Mar 2026 15:39:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-21 18:33:56.956336
• Title: DexViTac: Collecting Human Visuo-Tactile-Kinematic Demonstrations for Contact-Rich Dexterous Manipulation
• Title（参考訳）: DexViTac: コンタクトリッチデキスタラスマニピュレーションのためのヒトのバイスオ・タクティル・キネマティック・デモを収集する
• Authors: Xitong Chen, Yifeng Pan, Min Li, Xiaotian Ding,
• Abstract要約: 大規模で高品質なマルチモーダルデモは、接触に富むデキスタス操作のロボット学習に不可欠である。 本稿では,コンタクトリッチなデキスタラス操作に適した携帯型人中心データ収集システムであるDexViTacを紹介する。
• 参考スコア（独自算出の注目度）: 4.463599051210204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale, high-quality multimodal demonstrations are essential for robot learning of contact-rich dexterous manipulation. While human-centric data collection systems lower the barrier to scaling, they struggle to capture the tactile information during physical interactions. Motivated by this, we present DexViTac, a portable, human-centric data collection system tailored for contact-rich dexterous manipulation. The system enables the high-fidelity acquisition of first-person vision, high-density tactile sensing, end-effector poses, and hand kinematics within unstructured, in-the-wild environments. Building upon this hardware, we propose a kinematics-grounded tactile representation learning algorithm that effectively resolves semantic ambiguities within tactile signals. Leveraging the efficiency of DexViTac, we construct a multimodal dataset comprising over 2,400 visuo-tactile-kinematic demonstrations. Experiments demonstrate that DexViTac achieves a collection efficiency exceeding 248 demonstrations per hour and remains robust against complex visual occlusions. Real-world deployment confirms that policies trained with the proposed dataset and learning strategy achieve an average success rate exceeding 85% across four challenging tasks. This performance significantly outperforms baseline methods, thereby validating the substantial improvement the system provides for learning contact-rich dexterous manipulation. Project page: https://xitong-c.github.io/DexViTac/.
• Abstract（参考訳）: 大規模で高品質なマルチモーダルデモは、接触に富むデキスタス操作のロボット学習に不可欠である。 人中心のデータ収集システムはスケーリングの障壁を低くするが、物理的な相互作用の間、触覚情報を捉えるのに苦労する。 そこで我々はDexViTacを紹介した。DexViTacは、コンタクトリッチなデキスタラスな操作に適した、ポータブルで人間中心のデータ収集システムである。 このシステムにより、非構造的・非構造的環境において、一人称視覚の高忠実な獲得、高密度触覚センシング、エンドエフェクターポーズ、手動運動が実現される。 本研究では,触覚信号における意味的あいまいさを効果的に解決する,キネマティックスに基づく触覚表現学習アルゴリズムを提案する。 DexViTacの効率を活用し,2,400以上のビジュオ・タクティル・キネマティック・デモからなるマルチモーダル・データセットを構築した。 実験によると、DexViTacは1時間に248回のデモを行い、複雑な視覚的閉塞に対して頑健である。 実際のデプロイメントでは、提案されたデータセットと学習戦略でトレーニングされたポリシが、4つの困難なタスクで平均85%以上の成功率を達成することが確認されている。 この性能はベースライン法を著しく上回り、システムが提供する実質的な改善を検証し、接触に富んだデキスタラスな操作を学習する。 プロジェクトページ: https://xitong-c.github.io/DexViTac/。

関連論文リスト

• Simultaneous Tactile-Visual Perception for Learning Multimodal Robot Manipulation [21.78866976181311]
  See-through-skin (STS) センサーは触覚と視覚を結合する。 既存のSTSの設計では、同時的なマルチモーダル認識が欠如し、信頼性の低い触覚追跡に悩まされている。 STSセンサであるTacThruを導入し,視覚認識と触覚信号抽出を同時に行う。
  論文  参考訳（メタデータ） (2025-12-10T17:35:13Z)
• DexCanvas: Bridging Human Demonstrations and Robot Learning for Dexterous Manipulation [25.208854363099352]
  このデータセットには、実際の人間の実演から70時間シードされた7000時間に及ぶ手-物体の相互作用が含まれている。 各エントリは、同期されたマルチビューRGB-D、MANOハンドパラメータによる高精度モキャップ、物理的に一貫した力プロファイルによるフレーム単位の接触点を組み合わせる。 私たちのリアル・トゥ・シムパイプラインは、物理シミュレーションにおいてアクティベートされたMANOハンドを制御するポリシーをトレーニングするために強化学習を使用します。
  論文  参考訳（メタデータ） (2025-10-17T16:08:14Z)
• LodeStar: Long-horizon Dexterity via Synthetic Data Augmentation from Human Demonstrations [20.300415135664718]
  ロングホライゾン操作タスクは、物理的なデキスタリティと操作スキルのシームレスなシークエンシングの両方を必要とする。 本稿では,タスクのデモンストレーションを意味的に意味のあるスキルに自動的に分解する学習フレームワークとシステムLodeStarを提案する。 提案手法は,従来のベースラインに比べてタスク性能とロバスト性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-24T22:57:16Z)
• Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids [56.892520712892804]
  本稿では,ヒューマノイドロボットを訓練して3つの巧妙な操作を行う,実用的なシミュレート・トゥ・リアルなRLレシピを提案する。 未確認のオブジェクトやロバストで適応的な政策行動に対して高い成功率を示す。
  論文  参考訳（メタデータ） (2025-02-27T18:59:52Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• Dexterity from Touch: Self-Supervised Pre-Training of Tactile Representations with Robotic Play [15.780086627089885]
  T-Dexは、触覚に基づくデキスタリティの新しいアプローチで、2つのフェーズで動作する。 第1フェーズでは、2.5時間のプレイデータを収集し、自動教師付き触覚エンコーダの訓練に使用する。 第2段階では, 触覚観察と視覚的観察を組み合わせた非パラメトリックな政策を学習する。
  論文  参考訳（メタデータ） (2023-03-21T17:59:20Z)
• Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
  動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。 本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。 本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-09-26T01:30:43Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。