論文の概要: VisTacAlign: Co-Training Dexterous Policies on Tactile Human and Robot Demonstrations

• arxiv url: http://arxiv.org/abs/2609.30959v1
• Date: Fri, 25 Sep 2026 08:12:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.288572
• Title: VisTacAlign: Co-Training Dexterous Policies on Tactile Human and Robot Demonstrations
• Title（参考訳）: VisTacAlign:「触覚人間とロボットのデモ」を共同研究
• Abstract要約: VisTacAlignは、人間とロボットのデモに対する3D-視覚触覚のデクサラスなポリシーを共同訓練するためのフレームワークである。 グローブトラッキングされた人間の手の動きは、17-DoFの触覚ロボットハンドに1回指先修正を加えて再ターゲティングされる。 静電容量式触覚グローブは、信号空間内のロボットの指先センサーにアライメントされ、1つの指先力表現が解釈可能である。
• 参考スコア（独自算出の注目度）: 1.002991947914955
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Human demonstrations are a cheap source of data for dexterous manipulation, but co-training a robot policy on them requires closing the human--robot gap in every modality the policy consumes. We present VisTacAlign, a framework for co-training 3D-visual-tactile dexterous policies on human and robot demonstrations. Glove-tracked human hand motion is retargeted to a 17-DoF tactile robot hand with a one-time fingertip correction. The human hand is then erased from both stereo views and replaced by a posed robot-hand mesh painted with pixels from robot recordings, and a real-time stereo foundation model is re-run on the composite, so the human point clouds carry the same stereo errors and visibility as the robot ones. Finally, a capacitive tactile glove is aligned to the robot's fingertip sensors in its signal space, giving one interpretable per-finger force representation. A diffusion transformer consumes point-cloud, proprioceptive, and per-finger tactile tokens. On three real-world tasks requiring precise force -- Lego assembly, plucking strawberries of varying size, and activating and lifting a power drill -- adding aligned human demonstrations to existing robot data improves over robot-only policies, and ablations show that both tactile input and visual alignment are necessary. Project page: https://vis-tac-align.github.io
• Abstract（参考訳）: 人間のデモは、巧妙な操作のための安価なデータソースだが、ロボットのポリシーを共同で訓練するには、ポリシーが消費するあらゆるモダリティにおいて、人間とロボットのギャップを埋める必要がある。 VisTacAlignは、人間とロボットのデモにおける3次元視覚触覚の巧妙なポリシーを協調訓練するためのフレームワークである。 グローブトラッキングされた人間の手の動きは、17-DoFの触覚ロボットハンドに1回指先修正を加えて再ターゲティングされる。 その後、人間の手は両ステレオビューから消去され、ロボット録音からピクセルで塗装されたロボットハンドメッシュに置き換えられ、リアルタイムステレオ基礎モデルが合成上に再実行されるため、人間の目線雲はロボットと同じステレオエラーと可視性を持つ。 最後に、静電容量式触覚グローブは、信号空間内のロボットの指先センサーにアライメントされ、1つの指先力表現が解釈可能である。 拡散変換器は、ポイントクラウド、プロプリセプティブ、フィンガー単位の触覚トークンを消費する。 レゴの組み立て、さまざまな大きさのイチゴの摘み取り、電動ドリルのアクティベーションと揚力という3つの現実世界のタスクでは、既存のロボットデータに人間のデモを合わせることで、ロボットのみのポリシーよりも改善され、触覚入力と視覚アライメントの両方が必要であることが説明されている。 プロジェクトページ: https://vis-tac-align.github.io

関連論文リスト

• Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning [17.90707618632327]
  我々は、人間のビデオから再利用可能なオブジェクト中心のインタラクションを学習するためのフレームワークであるHuman2Anyを紹介する。 我々は,FrankaテーブルトップとRBY-1ヒューマノイド移動ロボットの実際の実験を含む,さまざまな操作設定のHuman2Anyを検証する。
  論文  参考訳（メタデータ） (2026-06-27T08:45:27Z)
• HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos [58.9564236347451]
  HumanEgoは、人間とロボットのエンボディメントギャップを橋渡しするフレームワークである。 それは、人間のデモを、手動オブジェクトの相互作用の実体レベルの表現へと持ち上げる。 HumanEgoは、ロボットのデータフリー、ハードウェア非依存、データ効率、ゼロショットの人間とロボットの転送を可能にする。
  論文  参考訳（メタデータ） (2026-05-24T08:26:41Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• Dexterity from Smart Lenses: Multi-Fingered Robot Manipulation with In-the-Wild Human Demonstrations [52.29884993824894]
  自然環境で日々のタスクを行う人間から、マルチフィンガーロボットポリシーを学ぶことは、ロボットコミュニティにとって長年の大きな目標だった。 AINAは、Aria Gen 2メガネを使用して、どこでも、どこでも、あらゆる環境で収集されたデータから、マルチフィンガーポリシーを学ぶことができる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:02Z)
• Feel the Force: Contact-Driven Learning from Humans [52.36160086934298]
  操作中のきめ細かい力の制御は、ロボット工学における中核的な課題である。 We present FeelTheForce, a robot learning system that model human tactile behavior to learn force-sensitive control。 提案手法は,5つの力覚的操作タスクで77%の成功率を達成した,スケーラブルな人間の監督において,堅牢な低レベル力制御を実現する。
  論文  参考訳（メタデータ） (2025-06-02T17:57:52Z)
• Generalizable Humanoid Manipulation with 3D Diffusion Policies [66.78220965526732]
  我々は、ヒューマノイドロボットによる自律的な操作の問題を解決するために、現実世界のロボットシステムを構築している。 本システムは主に,人型ロボットデータを取得するための全身ロボット遠隔操作システムと,高さ調整可能なカートと3D LiDARセンサを備えた25-DoFヒューマノイドロボットプラットフォームの統合である。 1つのシーンで収集されたデータのみを使用し、オンボードコンピューティングのみで、フルサイズのヒューマノイドロボットが様々な現実世界のシナリオで自律的にスキルを発揮できることが示される。
  論文  参考訳（メタデータ） (2024-10-14T17:59:00Z)
• HuBo-VLM: Unified Vision-Language Model designed for HUman roBOt interaction tasks [5.057755436092344]
  人間のロボットのインタラクションは、人間の指示に従ってロボットを誘導する、エキサイティングなタスクだ。 HuBo-VLMは人間のロボットのインタラクションに関連する知覚課題に取り組むために提案されている。
  論文  参考訳（メタデータ） (2023-08-24T03:47:27Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans on Youtube [24.530131506065164]
  我々は、人間なら誰でもロボットの手と腕を制御できるシステムを構築します。 ロボットは、人間のオペレーターを1台のRGBカメラで観察し、その動作をリアルタイムで模倣する。 我々はこのデータを利用して、人間の手を理解するシステムを訓練し、人間のビデオストリームをスムーズで、素早く、安全に、意味論的に誘導デモに類似したロボットのハンドアーム軌道に再ターゲティングする。
  論文  参考訳（メタデータ） (2022-02-21T18:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。